Questa guida ti aiuta a valutare i requisiti di archiviazione del tuo carico di lavoro cloud, comprendere le opzioni di archiviazione disponibili in Google Cloud e progettare una strategia di archiviazione che fornisca un valore aziendale ottimale.
Per un riepilogo visivo dei principali suggerimenti di progettazione, consulta il diagramma ad albero decisionale.
Panoramica del processo di progettazione
In qualità di Cloud Architect, quando pianifichi l'archiviazione per un carico di lavoro cloud, devi prima considerare le caratteristiche funzionali del carico di lavoro, i vincoli di sicurezza, i requisiti di resilienza, le aspettative in termini di prestazioni e gli obiettivi di costo. In seguito, devi rivedere i servizi e le funzionalità di archiviazione disponibili in Google Cloud. Quindi, in base ai tuoi requisiti e alle opzioni disponibili, puoi selezionare i servizi e le funzionalità di archiviazione di cui hai bisogno.
Il seguente diagramma mostra questo processo di progettazione in 3 fasi:
Definisci i tuoi requisiti
Utilizza i questionari in questa sezione per definire i requisiti di archiviazione chiave del carico di lavoro di cui vuoi eseguire il deployment in Google Cloud.
Linee guida per la definizione dei requisiti di archiviazione
Quando rispondi ai questionari, tieni presente le seguenti linee guida:
Definisci i requisiti in modo granulare
Ad esempio, se l'applicazione richiede l'archiviazione di file basata su Network File System (NFS), identifica la versione NFS richiesta.
Valutare i requisiti futuri
Ad esempio, il deployment attuale potrebbe servire gli utenti in paesi dell'Asia, ma potresti pianificare di espandere l'attività in altri continenti. In questo caso, prendi in considerazione gli eventuali requisiti normativi relativi all'archiviazione dei nuovi territori aziendali.
Valutare opportunità e requisiti specifici per il cloud
Sfrutta le opportunità specifiche del cloud.
Ad esempio, per ottimizzare il costo di archiviazione dei dati archiviati in Cloud Storage, puoi controllare la durata dell'archiviazione utilizzando criteri di conservazione dei dati e configurazioni del ciclo di vita.
Considera i requisiti specifici del cloud.
Ad esempio, i dati on-premise potrebbero trovarsi in un singolo data center e potresti dover replicare i dati di cui è stata eseguita la migrazione tra due località Google Cloud per garantire la ridondanza.
Questionari
I questionari che seguono non sono elenchi di controllo esaustivi per la pianificazione. Utilizzale come punto di partenza per analizzare sistematicamente tutti i requisiti di archiviazione del carico di lavoro di cui vuoi eseguire il deployment in Google Cloud.
Valuta le caratteristiche del carico di lavoro
Che tipo di dati devi archiviare?
Esempi
- Contenuti di siti web statici
- Backup e archivi per il ripristino di emergenza
- Audit log per la conformità
- Oggetti di dati di grandi dimensioni che gli utenti scaricano direttamente
- Dati transazionali
- Dati non strutturati ed eterogenei
Quanta capacità hai bisogno? Considera i tuoi requisiti attuali e futuri.
La capacità dovrebbe scalare automaticamente con l'utilizzo?
Quali sono i requisiti di accesso? Ad esempio, i dati devono essere accessibili dall'esterno di Google Cloud?
Quali sono i pattern di lettura-scrittura previsti?
Esempi
- Scritture e letture frequenti
- Scritture frequenti, ma letture occasionali
- Scritture e letture occasionali
- Scritture occasionali, ma letture frequenti
Il carico di lavoro ha bisogno di un accesso basato su file, ad esempio utilizzando NFS?
Più client devono poter leggere o scrivere dati contemporaneamente?
Identificare i vincoli di sicurezza
Quali sono i tuoi requisiti per la crittografia dei dati? Ad esempio, hai bisogno di usare chiavi che controlli?
Ci sono requisiti di residenza dei dati?
Definire i requisiti di resilienza dei dati
- Il tuo carico di lavoro ha bisogno di una memorizzazione nella cache a bassa latenza o di spazio temporaneo?
- Hai bisogno di replicare i dati nel cloud per la ridondanza?
- Hai bisogno di una rigorosa coerenza di lettura e scrittura per i set di dati replicati?
Impostare le aspettative di rendimento
Qual è la frequenza di I/O richiesta?
Di quali livelli di velocità effettiva di lettura e scrittura ha bisogno la tua applicazione?
Per quali ambienti hai bisogno di archiviazione? Per un determinato carico di lavoro, potresti aver bisogno di archiviazione ad alte prestazioni per l'ambiente di produzione, ma potresti scegliere un'opzione con prestazioni inferiori per gli ambienti non di produzione.
Rivedi le opzioni di archiviazione
Google Cloud offre servizi per tutti i principali formati di archiviazione: blocco, file e oggetto. Esaminare e valutare le funzionalità, le opzioni di progettazione e i relativi vantaggi dei servizi disponibili per ciascun formato di archiviazione.
Panoramica
Archiviazione a blocchi
I dati archiviati nell'archiviazione a blocchi sono suddivisi in blocchi, ciascuno archiviato come un blocco separato con un indirizzo univoco. Le applicazioni accedono ai dati facendo riferimento agli indirizzi dei blocchi appropriati. L'archiviazione a blocchi è ottimizzata per carichi di lavoro con quantità elevate di IOPS, come l'elaborazione delle transazioni. È simile alla rete SAN (Storage Area Network) on-premise e ai sistemi di archiviazione con collegamento diretto (DAS).
Le opzioni di archiviazione a blocchi in Google Cloud fanno parte del servizio Compute Engine.
| Opzione | Panoramica |
|---|---|
| Disco permanente | Unità a disco rigido (HDD) e unità a stato solido (SSD) dedicate per applicazioni aziendali e di database di cui è stato eseguito il deployment nelle VM di Compute Engine e nei cluster Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Archiviazione di rete veloce e ridondante per le VM di Compute Engine, con prestazioni e volumi configurabili che possono essere ridimensionati dinamicamente. |
| SSD locale | Archiviazione a blocchi temporanea collegata in locale per applicazioni ad alte prestazioni. |
Archiviazione di file
I dati sono organizzati e rappresentati in una gerarchia di file archiviati in cartelle, in modo simile a Network Attached Storage (NAS) on-premise. I file system possono essere montati sui client utilizzando protocolli come NFS e Server Message Block (SMB). Le applicazioni accedono ai dati utilizzando il nome file e il percorso della directory pertinenti.
Google Cloud offre una gamma di soluzioni completamente gestite e di terze parti per l'archiviazione dei file.
| Soluzione | Panoramica |
|---|---|
| Google Cloud Filestore |
File server NFSv3 per VM di Compute Engine e cluster Google Kubernetes Engine. Puoi scegliere un livello di servizio (di base, di zona o regionale) adatto al tuo caso d'uso. |
| Google Cloud NetApp Volumes | Archiviazione basata su file con NFSv3, NFSv4.1 o SMB. |
| Altre opzioni | Vedi Riepilogo delle opzioni del file server. |
Archiviazione di oggetti
I dati vengono archiviati come oggetti in una gerarchia piatta di bucket. A ogni oggetto viene assegnato un ID univoco globale. Gli oggetti possono avere metadati assegnati dal sistema e definiti dall'utente per aiutarti a organizzare e gestire i dati. Le applicazioni accedono ai dati facendo riferimento agli ID oggetto utilizzando le API REST o le librerie client. L'archiviazione degli oggetti è simile alla SAN on-premise in termini di capacità di scalabilità, ma è più facile da gestire e meno costosa.
Cloud Storage offre archiviazione di oggetti a basso costo, a elevata durabilità e senza limiti per diversi tipi di dati. È possibile accedere ai dati archiviati in Cloud Storage da qualsiasi luogo, all'interno e all'esterno di Google Cloud. La ridondanza facoltativa tra le regioni offre la massima affidabilità. Puoi selezionare una classe di archiviazione adatta ai tuoi requisiti di conservazione dei dati e frequenza di accesso.
Analisi comparata
La tabella seguente fornisce un'analisi comparativa delle funzionalità chiave dei servizi di archiviazione in Google Cloud.
| Persistent Disk | Hyperdisk | SSD locale | Filestore | Google Cloud NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|
| Capacità |
Da 10 GiB a 64 TiB per disco 257 TiB per VM |
Da 4 GiB a 64 TiB per disco 512 TiB per VM |
375 GiB per disco 12 TiB per VM |
1-100 TiB per istanza Filestore (la capacità minima e massima e gli incrementi di scalabilità variano in base al livello di servizio) | 2-500 TiB per pool di archiviazione Da 100 GiB a 100 TiB per volume |
Nessun limite inferiore o superiore |
|
Scalabilità |
|
Scala prestazioni e capacità in modo dinamico | Non scalabile |
|
Scale up e scale down | Scalabilità automatica in base all'utilizzo |
| Condivisione |
Condivisione limitata
|
Non condivisibile | Non condivisibile | Montabile su più VM di Compute Engine, client remoti e cluster GKE | Montabile su più VM di Compute Engine e cluster GKE |
|
| Chiavi di crittografia |
Uno dei seguenti:
|
Uno dei seguenti:
|
Chiavi di proprietà di Google e gestite da Google |
|
Uno dei seguenti:
|
Uno dei seguenti:
|
| Persistenza |
Durata del disco | Durata del disco | Temporaneo (i dati rimangono attivi fino all'arresto o all'eliminazione della VM) | Durata dell'istanza Filestore | Durata del volume | Durata del bucket |
| Disponibilità |
|
Zonale | Zonale |
| ||
| Rendimento |
Scalare lineare prestazioni elevate in base alle dimensioni del disco e al numero di CPU | Archiviazione permanente con scalabilità dinamica e alte prestazioni | Archiviazione scratch ad alte prestazioni |
|
Prestazioni scalabili Le aspettative dipendono dal livello di servizio |
Scalabilità automatica delle velocità di lettura e scrittura e ridistribuzione del carico dinamico |
| Gestione |
Formatta e monta manualmente | Formatta e monta manualmente | Formattazione, stripe e montaggio manuale | Completamente gestito | Completamente gestito | Completamente gestito |
| Carichi di lavoro |
|
|
|
|
|
|
Scegli un'opzione di archiviazione
La scelta di un'opzione di archiviazione è suddivisa in due parti:
- Decidere i servizi di archiviazione necessari.
- Scegliere le funzionalità e le opzioni di progettazione richieste in un determinato servizio.
Esempi di funzionalità e opzioni di progettazione specifiche per i servizi
Persistent Disk
- Regione e zona del deployment
- Replica a livello di regione
- Tipo, dimensione e IOPS del disco (per disco permanente con carico estremo)
- Chiavi di crittografia: di proprietà e gestite da Google, gestite dal cliente o fornite dal cliente
- Pianificazione di snapshot
Hyperdisk
- Zona di deployment
- Tipo, dimensione e IOPS del disco
- Chiavi di crittografia: di proprietà e gestite da Google, gestite dal cliente o fornite dal cliente
- Pianificazione di snapshot
Filestore
- Regione e zona del deployment
- Livello istanza
- Capacità
- Intervallo IP: allocato automaticamente o personalizzato
- Controllo dell'accesso
NetApp Volumes
- Regione di deployment
- Livello di servizio per il pool di archiviazione
- Capacità di pool e volume
- Protocollo volume
- Regole di esportazione del volume
Cloud Storage
- Località: più regioni, due regioni, una singola regione
- Classe di archiviazione: Standard, Nearline, Coldline, Archive
- Controllo dell'accesso: uniforme o granulare
- Chiavi di crittografia: di proprietà e gestite da Google, gestite dal cliente o fornite dal cliente
- Criterio di conservazione
Suggerimenti sullo spazio di archiviazione
Utilizza i seguenti suggerimenti come punto di partenza per scegliere i servizi e le funzionalità di archiviazione che soddisfano i tuoi requisiti. Questi suggerimenti vengono presentati anche come albero decisionale più avanti nel documento.
Per le applicazioni che richiedono accesso basato su file, scegli un servizio di archiviazione di file adatto in base ai requisiti di protocollo di accesso, disponibilità e prestazioni.
Protocollo di accesso Suggerimento NFSv3 - Se hai bisogno di una disponibilità regionale, utilizza Filestore a livello di regione.
- Se la disponibilità a livello di zona è sufficiente, ma hai bisogno di prestazioni elevate, utilizza il livello di zona Filestore.
- In caso contrario, utilizza Filestore Basic o NetApp Volumes.
Per ulteriori informazioni sulle differenze tra i livelli di servizio di Filestore, consulta la pagina relativa ai livelli di servizio.
SMB o NFSv4.1 Usa NetApp Volumes. Per i carichi di lavoro che richiedono uno spazio di archiviazione principale con prestazioni elevate, utilizza SSD locali, dischi permanenti o Hyperdisk, a seconda delle tue esigenze.
Requisito Suggerimento Cache o disco temporaneo rapido Utilizza dischi SSD locali (temporanei).
IOPS sequenziali Utilizza dischi permanenti con il tipo di disco pd-standard.Carico di lavoro ad alta intensità di IOPS Utilizza dischi permanenti con il tipo di disco pd-extremeopd-ssd.Equilibrio tra rendimento e costi Utilizza dischi permanenti con il tipo di disco pd-balanced.Prestazioni e capacità scalabili in modo dinamico Usa Hyperdisk.
Scegli un tipo di Hyperdisk adatto:
- La velocità effettiva Hyperdisk è consigliata per l'analisi dello scale out, le unità dati per le app sensibili ai costi e per l'archiviazione cold storage.
- Hyperdisk Extreme è consigliato per carichi di lavoro che richiedono un I/O elevato, come i database ad alte prestazioni.
- A seconda dei requisiti di ridondanza, scegli tra dischi a livello di zona e di regione.
Per un'analisi comparativa dettagliata, vedi Opzioni di Persistent Disk.Requisito Suggerimento Ridondanza all'interno di una singola zona in una regione Usa dischi permanenti o hyperdisk a livello di zona. Ridondanza in più zone all'interno di una regione Usa dischi permanenti a livello di regione.
Per l'archiviazione su scala illimitata e disponibile a livello globale, utilizza Cloud Storage.
A seconda della frequenza di accesso ai dati e della durata dell'archiviazione, scegli una classe Cloud Storage adatta.
Requisito Consiglio> La frequenza di accesso varia oppure il periodo di conservazione dei dati è sconosciuto o non prevedibile. Utilizza la funzionalità Autoclass per eseguire automaticamente la transizione degli oggetti in un bucket alle classi di archiviazione appropriate in base al pattern di accesso di ciascun oggetto. Archiviazione per i dati a cui accedi di frequente, tra cui analisi a velocità effettiva elevata, data lake, siti web, video in streaming e app mobile. Utilizza la classe di archiviazione Standard.
Per memorizzare nella cache i dati a cui si accede di frequente e pubblicarli da località vicine ai client, utilizza Cloud CDN.
Archiviazione a basso costo per dati a cui si accede raramente, che possono essere archiviati per almeno 30 giorni (ad esempio, backup e contenuti multimediali long-tail). Utilizza la classe di archiviazione Nearline. Archiviazione a basso costo per dati a cui si accede raramente, che possono essere archiviati per almeno 90 giorni (ad esempio, ripristino di emergenza). Utilizza la classe di archiviazione Coldline. Archiviazione a minor costo per dati a cui si accede raramente, che possono essere archiviati per almeno 365 giorni, inclusi gli archivi normativi. Utilizza la classe di archiviazione Archive. Per un'analisi comparativa dettagliata, vedi Classi di Cloud Storage.
Opzioni di trasferimento dati
Dopo aver scelto i servizi di archiviazione Google Cloud appropriati, per eseguire il deployment e eseguire i carichi di lavoro, devi trasferire i dati in Google Cloud. I dati che devi trasferire possono esistere on-premise o su altre piattaforme cloud.
Per trasferire dati in Google Cloud, puoi utilizzare i seguenti metodi:
- Trasferisci i dati online utilizzando Storage Transfer Service: Automatizza il trasferimento di grandi quantità di dati tra sistemi di archiviazione di oggetti e file, tra cui Cloud Storage, Amazon S3, servizi di archiviazione Azure e origini dati on-premise.
- Trasferisci i dati offline utilizzando Transfer Appliance: Trasferisci e carica grandi quantità di dati offline su Google Cloud in situazioni in cui la connettività di rete e la larghezza di banda non sono disponibili, limitate o costose.
- Caricamento di dati in Cloud Storage: carica i dati online nei bucket Cloud Storage utilizzando la console Google Cloud, gcloud CLI, le API Cloud Storage o le librerie client.
Quando scegli un metodo di trasferimento dei dati, considera fattori quali dimensioni dei dati, limiti di tempo, disponibilità della larghezza di banda, obiettivi di costo e requisiti di sicurezza e conformità. Per saperne di più sulla pianificazione e l'implementazione dei trasferimenti di dati a Google Cloud, consulta Eseguire la migrazione a Google Cloud: trasferire set di dati di grandi dimensioni.
Albero decisionale opzioni di archiviazione
Il seguente diagramma ad albero decisionale illustra i suggerimenti di Google Cloud per l'archiviazione discussi in precedenza:
Visualizza un'immagine più grande
Passaggi successivi
- Stima i costi di archiviazione con il Calcolatore prezzi di Google Cloud.
- Scopri le best practice per la creazione di una topologia cloud ottimizzata per sicurezza, resilienza, costi e prestazioni.
- Scopri le differenze tra archiviazione di oggetti, blocchi e file in Google Cloud (video).
- Scopri quando utilizzare file system paralleli come Lustre per i carichi di lavoro HPC.
Collaboratori
Autore: Kumar Dhanagopal | Sviluppatore di soluzioni cross-product
Altri collaboratori:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand | Direttore tecnico, Ufficio CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Scrittore tecnico
- Jason Wu | Direttore, Product Management
- Jeff Allen | Solutions Architect
- Sean Derrington | Group Outbound Product Manager, Storage