Risoluzione dei problemi di Cloud SQL

Esegui Comando gcloud sql operations list per elencare tutti operazioni per l'istanza Cloud SQL specificata.

Cerca nei log. e filtrarli in base al testo per trovare l'utente. Potresti dover utilizzare i log di controllo informazioni private. I file di log pertinenti includono:

• Se Cloud Audit Logs è abilitato e disponi delle autorizzazioni necessarie per visualizzarle, Potrebbe essere disponibile anche cloudaudit.googleapis.com/activity.

Dopo l'eliminazione definitiva di un'istanza, non è possibile recuperare i dati. Tuttavia, Se l'istanza viene ripristinata, vengono ripristinati anche i backup. Per ulteriori informazioni informazioni sul recupero di un'istanza eliminata, consulta Backup di recupero.

Se hai eseguito un'operazione di esportazione, crea una nuova istanza ed eseguire un'operazione di importazione per ricreare il database. Le esportazioni sono vengono scritte in Cloud Storage e le importazioni vengono lette da lì.

Se devi davvero annullare l'operazione, puoi chiedere assistenza clienti a force restart l'istanza.

Crea gli utenti del database prima di ripristinare il dump SQL.

Per conservare i backup a tempo indeterminato, puoi: creazione un backup on demand, in quanto non vengono eliminati come backup automatici. I backup on demand rimangono a tempo indeterminato. Vale a dire che rimangono valide finché non vengono eliminate o non viene eliminata l'istanza a cui appartengono. Poiché questo tipo di backup non viene eliminato automaticamente, può billing.

• Potrebbero esserci troppe connessioni aperte. Troppi connessioni possono derivare da errori che si verificano durante connessione in cui non sono presenti impostazioni autovacuum da pulire connessioni staccate.
• È possibile che si verifichi un ciclo se qualsiasi codice personalizzato utilizza la logica dei nuovi tentativi non si ferma dopo alcuni errori.
• Il traffico potrebbe essere eccessivo. Usa il pool di connessioni e altro best practice per per la connettività.

Tentativi da effettuare

1. Verifica che il database sia configurato per autovacuum.
2. Controlla se è stata configurata una logica per i nuovi tentativi di connessione nel codice personalizzato.
3. Abbassa il traffico finché il database non si recupera, quindi gira lentamente di backup del traffico.

CREATE UNLOGGED TABLE ....

Queste tabelle non sono incluse in un ripristino da un backup:

• I contenuti delle tabelle non registrate non sopravvivono al failover su un'istanza ad alta disponibilità.
• Le tabelle non registrate non sopravvivono agli arresti anomali postgres.
• Le tabelle non registrate non vengono replicate in repliche di lettura.
• I dati delle tabelle non registrate vengono cancellati automaticamente durante il ripristino del backup.

La soluzione è evitare di utilizzare tabelle non registrate se vuoi ripristinarle tramite un backup. Se stai eseguendo il ripristino da un database che ha già ha tabelle non registrate, puoi eseguire il dump del database in un file e ricaricare dopo aver modificato il file di cui è stato eseguito il dump in ALTER TABLE per SET LOGGED su queste tabelle.

Rimuovi tutte le voci Authorized Networks da Cloud SQL se puoi. Altrimenti, crea una replica senza voci Authorized Networks.

Stai tentando di utilizzare la console Google Cloud per clonare un'istanza con un IP privato ma non hai specificato l'intervallo IP allocato desiderato da utilizzare e l'istanza di origine non viene creata con l'intervallo specificato. Come come risultato, l'istanza clonata viene creata in un intervallo casuale.

Utilizza gcloud per clonare l'istanza e fornire un valore per il parametro
--allocated-ip-range-name. Per ulteriori informazioni, consulta Clonare un'istanza con un IP privato.

• Instabilità Networking.
• Nessuna risposta ai comandi keep-alive TCP (client o server non reattivo, probabilmente sovraccarico)
• La durata della connessione del motore del database è stata superata e il server termina la connessione.

Le applicazioni devono tollerare gli errori di rete e seguire best practice ad esempio il pool di connessioni e nuovi tentativi. La maggior parte dei pooler di connessioni rileva ove possibile. In caso contrario, l'applicazione deve riprovare puoi fallire con eleganza.

Per riprovare la connessione, consigliamo i seguenti metodi:

1. Esponenziale il backoff. Aumenta in modo esponenziale l'intervallo di tempo tra un nuovo tentativo e l'altro.
2. Aggiungi anche un backoff casuale.

La combinazione di questi metodi consente di ridurre la limitazione.

Collegati con l'utente predefinito, quindi modifica utenti.

SELECT datname,
usename,
application_name as appname,
client_addr,
state,
now() - backend_start as conn_age,
now() - state_change as last_activity_age
FROM pg_stat_activity
WHERE backend_type = 'client backend'
ORDER BY 6 DESC
LIMIT 20
   

Utilizzare le esportazioni CSV ed esportare solo ciò che serve.

Utilizza esportazione offloading. A livello generale, in fase di offloading delle esportazioni, invece che eseguendo un'esportazione sull'istanza di origine, Cloud SQL avvia per eseguire l'esportazione. La distribuzione dell'esportazione ha diverse vantaggi, tra cui l'aumento delle prestazioni sull'istanza di origine e sblocco di operazioni amministrative durante l'esecuzione dell'esportazione. Con dell'esportazione, la latenza totale può aumentare in base alla quantità di tempo richiesta per visualizzare l'istanza di offload. In genere, per esportazioni di dimensioni ragionevoli, la latenza non è significativa. Tuttavia, se l'esportazione è sufficientemente ridotta, potresti notare un aumento della latenza.

Modifica il file di dump per rimuovere references.

Esegui un'esportazione manuale utilizzando pg_dump.

Potresti creare il tuo sistema di esportazione automatizzato utilizzando Google Cloud come Cloud Scheduler, Pub/Sub e Cloud Functions, simile a questo articolo su l'automazione dei backup.

Assicurati che l'istanza principale esterna sia disponibile per la connessione. Puoi anche modificare i valori dell'attributo net_read_timeout e net_write_timeout sull'istanza di origine per arrestare l'errore. Per ulteriori informazioni sui valori consentiti per questi flag, consulta Configurare i flag di database.

Per scoprire di più sull'utilizzo dei flag mysqldump per gli account gestiti, importare migrazione, consulta Flag di sincronizzazione iniziale consentiti e predefiniti

Assicurati che i flag di replica come binlog-do-db, binlog-ignore-db, replicate-do-db o replicate-ignore-db non sono impostate in modo in conflitto.

Esegui il comando show master status sull'istanza principale vedere le impostazioni correnti.

• Controlla le metriche di replica per l'istanza di replica in Cloud Monitoring della console Google Cloud.
• Gli errori del thread IO MySQL o del thread SQL possono essere disponibile in Cloud Logging, mysql.err log file.
• L'errore viene visualizzato anche durante la connessione all'istanza di replica. Esegui il comando SHOW SLAVE STATUS e controlla se è presente seguenti campi nell'output:
  • Slave_IO_Running
  • Slave_SQL_Running
  • Last_IO_Error
  • Last_SQL_Error

Aumenta la dimensione del disco dell'istanza di replica. Tu puoi aumentare manualmente la dimensione del disco o abilitare l'aumento automatico dello spazio di archiviazione.

Crea un nuovo file di dump utilizzando le impostazioni di flag corrette, quindi configura il una replica esterna utilizzando il file

1. Connettiti al client mysql tramite una di Compute Engine.
2. Corsa mysqldump e utilizzare --master-data=1 e --flush-privileges flag.

   Importante: non includere i --set-gtid-purged=OFF flag.

   Impara altro ancora.

3. Assicurati che il file di dump appena creato contenga SET @@GLOBAL.GTID_PURGED='...' riga.
4. carica il file di dump in un bucket Cloud Storage configurare la replica utilizzando il file di dump.

Modifica l'istanza per eseguire l'upgrade a una dimensione della macchina più grande e ottenere più CPU e memoria.

Chiudi le operazioni inutilizzate. Controlla l'utilizzo di CPU e memoria del tuo di Cloud SQL per verificare che sono disponibili numerose risorse. Il modo migliore per garantire il massimo delle risorse per l'importazione è riavviare l'istanza prima di iniziare l'operazione.

Un riavvio:

• Chiude tutte le connessioni.
• Termina qualsiasi attività che potrebbe consumare risorse.

Crea gli utenti del database prima dell'importazione.

Tentativi da effettuare

Aggiungi la seguente riga all'inizio del file di dump:

SET FOREIGN_KEY_CHECKS=0;
  

Inoltre, aggiungi questa riga alla fine del file di dump:

SET FOREIGN_KEY_CHECKS=1;
  

Queste impostazioni disattivano i controlli sull'integrità dei dati durante l'importazione sia in corso e riattivale dopo aver caricato i dati. Questo non influisce sull'integrità dei dati contenuti nel database, perché questi erano è già stata convalidata durante la creazione del file di dump.

EXEC sp_serveroption
    @server='LINKED_SERVER_NAME',
    @optname='data access',
    @optvalue='TRUE'

Sostituisci LINKED_SERVER_NAME con il nome del server collegato.

EXEC master.dbo.sp_addlinkedserver
   @server = N'LINKED_SERVER_NAME',
   @srvproduct= N'',
   @provider= N'SQLNCLI',
   @datasrc= N'TARGET_SERVER_ID',
   @provstr= N'Encrypt=yes;TrustServerCertificate=yes;User ID=USER_ID'

Sostituisci quanto segue:

• LINKED_SERVER_NAME con il nome del server collegato.
• TARGET_SERVER_ID con il nome del target o l'indirizzo IP e il numero di porta del server di destinazione.
• USER_ID con l'utente che esegue l'accesso.

Ad esempio, se un utente è stato eliminato, ma non riesci a scoprire chi lo ha fatto. I log mostrano è stata avviata, ma non fornisci altre informazioni. Devi enable log di controllo per l'identificazione personale e dettagliata informazioni (PII) come questa.

Connettiti al database ed esegui questi comandi per maggiori dettagli su ciascun tipo:

SHOW VARIABLES LIKE 'innodb_log_file%';

SELECT ROUND(SUM(LENGTH(argument)/POW(1024,2),2)
AS GB from mysql.general_log;

SHOW BINARY LOGS;
    

Per scaricare i log in formato JSON:

gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d" \
> downloaded-log.json
    

Per scaricare i log come TEXT:

gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d"| jq -rnc --stream 'fromstream(1|truncate_stream(inputs)) \
| .textPayload' \
--order=asc
> downloaded-log.txt
   

1. Da un terminale, connettiti al tuo database:

   gcloud sql connect INSTANCE_NAME
         

2. Esegui questo comando per creare l'estensione:

   CREATE EXTENSION pgaudit;
         

3. Esci dal database ed esegui questo comando da un terminale:

   gcloud sql instances patch INSTANCE_NAME \
   --database-flags=cloudsql.enable_pgaudit=on,pgaudit.log=all
        

Puoi scoprire le dimensioni dei log generali connettendoti al ed eseguendo questa query:

Tentativi da effettuare

• Puoi verificare lo spazio di archiviazione occupato dai log binari utilizzando: nell'interfaccia a riga di comando di MySQL: SHOW BINARY LOGS;
• Anche le tabelle temporanee possono occupare una quantità significativa di di archiviazione. Per controllare l'utilizzo temporaneo dello spazio, usa seguente comando: SELECT * FROM INFORMATION_SCHEMA.FILES WHERE TABLESPACE_NAME='innodb_temporary'\G.
• Il seguente comando consente di controllare le dimensioni del log di ripetizione: SHOW VARIABLES LIKE 'innodb_log_file%';
• Puoi controllare la dimensione di general_log, se è con l'aiuto di questo comando: SELECT ROUND(SUM(LENGTH(argument)/POW(1024,2)),2) AS GB from mysql.general_log;
• Se necessario, puoi troncare le tabelle dei log utilizzando l'API. Per ulteriori informazioni informazioni, consulta pagina di riferimento istanzas.truncateLog.
• Scopri di più sull'impostazione e configurazione dei log delle query lente.

Connettiti al database ed esegui questa query:

SHOW PROCESSLIST.

La prima voce dell'elenco potrebbe essere quella che contiene il blocco, che gli elementi successivi sono in attesa.

Anche la query SHOW INNODB STATUS può essere utile.

SELECT * FROM INFORMATION_SCHEMA.FILES WHERE TABLESPACE_NAME='innodb_temporary'\G

Connettiti al database ed esegui questa query:

SELECT TABLE_SCHEMA, TABLE_NAME, sum(DATA_LENGTH+INDEX_LENGTH)/pow(1024,2) FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA NOT IN ('PERFORMANCE_SCHEMA','INFORMATION_SCHEMA','SYS','MYSQL') GROUP BY TABLE_SCHEMA, TABLE_NAME;

Esegui il sharding dell'istanza se possibile. Usare molte istanze Cloud SQL più piccole è meglio di una di grandi dimensioni.

SELECT datname, usename, application_name as appname, client_addr, state, now() - backend_start as conn_age, now() - xact_start as xact_age, now() - query_start as query_age, now() - state_change as last_activity_age, wait_event_type, wait_event, query FROM pg_stat_activity WHERE state <> 'idle' ORDER BY 8 DESC LIMIT 20;

SELECT name, setting, unit FROM pg_settings WHERE name = 'FIELD_NAME'.

SHOW SETTING_NAME;

Esegui SHOW ALL; per visualizzare tutte le impostazioni.

Esegui questi comandi:

1.       GRANT pg_signal_backend TO USERNAME;
         

2. Trova l'ID del processo bloccato o bloccato:

         SELECT pid, usename, state, query FROM pg_stat_activity;
         

3. Interrompi un processo in esecuzione o inattivo utilizzando questi comandi:

         SELECT pg_cancel_backend(pid)
               FROM pg_stat_activity
               WHERE usename = 'USERNAME';
         
         

         SELECT pg_terminate_backend(pid)
               FROM pg_stat_activity
               WHERE usename = 'USERNAME';
         
         

Il job autovacuum potrebbe essere bloccato o potrebbe non essere in grado di recuperare gli ID transazione abbastanza rapidamente da stare al passo con il carico di lavoro.

Per evitare interruzioni dovute a problemi di wraparound delle transazioni, puoi rivedere questi suggerimenti per il self-service per gestire il wraparound di TXID.

Per consigli generali sull'ottimizzazione, vedi Ottimizzazione, monitoraggio e risoluzione dei problemi delle operazioni vacuum in PostgreSQL.

Il riavvio elimina i file temporanei, ma non per ridurre lo spazio di archiviazione. Solo l'assistenza clienti può reimpostare la dimensione dell'istanza.

Cerca nei log al momento dell'eliminazione e vedi se c'è script non autorizzato eseguito da una dashboard o da un altro processo automatizzato.

Ecco alcune possibili spiegazioni:

• È in corso un'altra operazione. Le operazioni di Cloud SQL contemporaneamente. Attendi il completamento dell'altra operazione.
• Viene attivato l'avviso INSTANCE_RISKY_FLAG_CONFIG ogni volta che viene utilizzato almeno un flag beta. Rimuovi il le impostazioni dei flag rischiosi e riavvia l'istanza

Purtroppo non puoi ridurre il file ibtmp1 con alcun metodo diverso dal riavvio del servizio.

Un'opzione di mitigazione è creare la tabella temporanea con ROW_FORMAT=COMPRESSED, in modo che venga archiviato in spazi delle tabelle file per tabella nella directory dei file temporanei. Tuttavia, lo svantaggio è costituito dai costi delle prestazioni associati alla creazione e alla rimozione per ogni tabella temporanea.

Se l'istanza esaurisce lo spazio di archiviazione e l'aumento automatico dello spazio di archiviazione non è abilitata, l'istanza passa alla modalità offline. Per evitare questo problema, puoi modificare l'istanza per abilitare l'aumento automatico dello spazio di archiviazione.

Poiché le connessioni durano meno di 60 secondi, la maggior parte delle è possibile evitare gli arresti, incluse le connessioni dal database al prompt dei comandi. Se mantieni aperte queste connessioni per ore o giorni, gli arresti anomali possono essere sporchi.

Scopri quali oggetti dipendono dall'utente, poi rilasciali o riassegnali per questi oggetti a un altro utente.

Consulta consigli generali per le prestazioni.

Per inserimenti, aggiornamenti o eliminazioni lenti dei database, considera quanto segue azioni:

• Controlla le posizioni del writer e del database. inviare i dati per molto tempo la distanza introduce latenza.
• Controlla la posizione del lettore e del database. la latenza influisce sulla lettura maggiore rispetto a quello in scrittura

Per ridurre la latenza, il consiglio è di individuare sia l'origine che risorse di destinazione nella stessa regione.

Oltre al carico di lavoro, esistono altri fattori che possono influire sulla memoria di rete, ad esempio il numero di connessioni attive e l'overhead interno i processi di machine learning. Questi aspetti non sempre si riflettono nei grafici di monitoraggio.

Assicurati che l'istanza abbia un overhead sufficiente per tenere conto del carico di lavoro più costi aggiuntivi.

Per conservare i dati: esportarlo in Cloud Storage prima di per eliminare un'istanza.

Il ruolo Amministratore Cloud SQL include l'autorizzazione per eliminare in esecuzione in un'istanza Compute Engine. Per impedire l'eliminazione accidentale, concedi questo ruolo solo se necessario.

Esistono altri modi per raggiungere l'obiettivo creando una nuova istanza.

• Puoi clonare l'istanza che vuoi rinominare e impostare un nuovo nome clonata. Ciò ti consente di creare la nuova istanza senza dover importare i dati manualmente. Proprio come quando crei una nuova istanza, l'istanza clonata ha un nuovo indirizzo IP.
• Puoi esportare i dati della tua istanza in un Cloud Storage bucket, creare una nuova istanza con il nuovo nome import i dati nella nuova istanza.

In entrambi i casi, puoi eliminare la vecchia istanza dopo che l'operazione è stata fatto. Ti consigliamo di procedere con la clonazione, poiché non ha alcun impatto sul delle prestazioni e non richiede di ripetere la configurazione dell'istanza come flag, tipo di macchina, dimensioni di archiviazione e memoria.

1. Controlla lo stato dell'endpoint.

   gcloud

   Per controllare lo stato, utilizza il comando
   gcloud compute forwarding-rules describe.

   gcloud compute forwarding-rules describe ENDPOINT_NAME \
   --project=PROJECT_ID \
   --region=REGION_NAME \
   | grep pscConnectionStatus

   Effettua le seguenti sostituzioni:

   • ENDPOINT_NAME: il nome dell'endpoint
   • PROJECT_ID: l'ID o il numero di progetto del progetto Google Cloud che contiene l'endpoint
   • REGION_NAME: il nome della regione dell'endpoint

   REST

   Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

   • PROJECT_ID: l'ID o il numero di progetto del progetto Google Cloud che contiene l'endpoint Private Service Connect
   • REGION_NAME: il nome della regione
   • ENDPOINT_NAME: il nome dell'endpoint

   Metodo HTTP e URL:

   GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME

   Per inviare la richiesta, espandi una delle seguenti opzioni:

   curl (Linux, macOS o Cloud Shell)

   Esegui questo comando:

   curl -X GET \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME"

   PowerShell (Windows)

   Esegui questo comando:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method GET `
       -Headers $headers `
       -Uri "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME" | Select-Object -Expand Content

   Dovresti ricevere una risposta JSON simile alla seguente:

   {
     "kind": "compute#forwardingRule",
     "id": "ENDPOINT_ID",
     "creationTimestamp": "2024-05-09T12:03:21.383-07:00",
     "name": "ENDPOINT_NAME",
     "region": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME",
     "IPAddress": "IP_ADDRESS",
     "target": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/serviceAttachments/SERVICE_ATTACHMENT_NAME",
     "selfLink": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME",
     "network": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/networks/default",
     "serviceDirectoryRegistrations": [
       {
         "namespace": "goog-psc-default"
       }
     ],
     "networkTier": "PREMIUM",
     "labelFingerprint": "LABEL_FINGERPRINT_ID",
     "fingerprint": "FINGERPRINT_ID",
     "pscConnectionId": "CONNECTION_ID",
     "pscConnectionStatus": "ACCEPTED",
     "allowPscGlobalAccess": true
   }
   

2. Verifica che lo stato dell'endpoint sia ACCEPTED. Se lo stato è PENDING, l'istanza non consente il progetto Google Cloud contenente l'endpoint. Assicurati che il progetto di rete in cui è stato creato l'endpoint sia consentito. Per saperne di più, consulta Modificare un'istanza con Private Service Connect abilitato.

Innanzitutto, verifica che il valore del flag max_connections sia maggiore o uguale al valore dell'istanza principale.

Se il flag max_connections è impostato correttamente, ispeziona i log in Cloud Logging per trovare l'errore effettivo.

Se l'errore è: set Service Networking service account as servicenetworking.serviceAgent role on consumer project, disabilita e riattiva Service Networking API. Questa azione crea l'account di servizio necessario per continuare la procedura.

Riavvia l'istanza di replica per recuperare lo spazio di memoria temporaneo.

Modifica l'istanza per abilitare automatic storage increase.

• Query lente sulla replica. Trovale e correggile.
• Tutte le tabelle devono avere una chiave univoca/primaria. Ogni aggiornamento su un senza una chiave univoca/primaria causa scansioni complete della tabella replica.
• Query come DELETE ... WHERE field < 50000000 causano con la replica basata su riga, poiché un numero enorme gli aggiornamenti si accumulano sulla replica.

Ecco alcune possibili soluzioni:

• Modifica l'istanza per aumentare le dimensioni della replica.
• Riduci il carico sul database.
• Invia traffico di lettura alla replica di lettura.
• Indicizza le tabelle.
• Identifica e correggi le query di scrittura lente.
• Ricrea la replica.

Ricrea la replica dopo aver interrotto tutte le query in esecuzione.