Página Inicial>Relacionado com a programação>Outro código-fonte
Baixar
gcp_cloud_status_dataset

Conjunto de dados públicos do painel de status da nuvem do GCP

Este é um conjunto de dados simples do Bigquery que contém eventos do Google Cloud Service Health (CSH).

Você pode usar isso para consultar eventos e filtrar os incidentes de seu interesse.

É acionado a cada minuto. Se não houver atualização para uma interrupção existente ou se uma nova interrupção não for detectada, nenhuma nova linha será inserida.

Você também pode usar isso junto com a API Asset Inventory para correlacionar eventos em um determinado local/região com os ativos que podem ser impactados.

De qualquer forma, o painel CSH existente fornece os dados em vários formatos como RSS e JSON e enquanto você pode emitir consultas e filtros simples usando jq 

 curl -s https://status.cloud.google.com/incidents.json | jq -r ' .[]  | select(.service_name == "Google Compute Engine") '

no entanto, não está em um formato fácil de usar.

Então, em vez de json bruto, que tal em uma tabela bigquery que você ou qualquer pessoa possa usar...

Aqui está o conjunto de dados:

  • https://console.cloud.google.com/bigquery?project=gcp-status-log&p=gcp-status-log&d=status_dataset

Para usar isso, primeiro adicione o seguinte projeto à IU gcp-status-log . Feito isso, qualquer consulta que você emitir usará este conjunto de dados, mas cobrará seu projeto para seu próprio uso. (ou seja, estou apenas fornecendo os dados... a consulta que você executa é o que você pagará)

NOTA: este repositório, conjunto de dados e código NÃO são suportados pelo Google. caveat emptor

Uso

  • Consulta sobre interrupções do GCE 
 bq query --nouse_legacy_sql  '
SELECT
  DISTINCT(id), service_name,severity,external_desc, begin,`end` , modified
FROM
     gcp-status-log.status_dataset.status
WHERE
  service_name = "Google Compute Engine"
ORDER BY
  modified
'
+----------------------+-----------------------+----------+-----------------------------------------------------------------------------------------------------------------------------+---------------------+---------------------+---------------------+
|          id          |     service_name      | severity |                                                        external_desc                                                        |        begin        |         end         |      modified       |
+----------------------+-----------------------+----------+-----------------------------------------------------------------------------------------------------------------------------+---------------------+---------------------+---------------------+
| pxD6QciVMd9gLQGcREbV | Google Compute Engine | medium   | Requests to and from Google Compute Instances in us-west2 may see increase traffic loss when using the instance's public IP | 2021-05-05 02:11:10 | 2021-05-05 04:54:57 | 2021-05-05 04:54:57 |
| LGFBxyLwbh92E47fAzJ5 | Google Compute Engine | medium   | Mutliregional Price for E2 Free Tier core is set incorrectly                                                                | 2021-08-01 07:00:00 | 2021-08-04 23:18:00 | 2021-08-05 17:35:12 |
| gwKjX9Lukav15SaFPbBF | Google Compute Engine | medium   | us-central1, europe-west1, us-west1, asia-east1: Issue with Local SSDs on Google Compute Engine.                            | 2021-09-01 02:35:00 | 2021-09-03 03:55:00 | 2021-09-07 21:39:46 |
| rjF86FbooET3FDpMV9w1 | Google Compute Engine | medium   | Increased VM failure rates in a subset of Google Cloud zones                                                                | 2021-09-17 15:00:00 | 2021-09-17 18:25:00 | 2021-09-20 23:33:53 |
| ZoUf49v2qbJ9xRK63kaM | Google Compute Engine | medium   | Some Users might have received credit cards deemed invalid email erroneously.                                               | 2021-11-13 07:14:48 | 2021-11-13 08:29:30 | 2021-11-13 08:29:30 |
| SjJ3FN51MAEJy7cZmoss | Google Compute Engine | medium   | Global: pubsub.googleapis.com autoscaling not worked as expected                                                            | 2021-12-07 09:56:00 | 2021-12-14 00:59:00 | 2021-12-14 19:59:08 |
+----------------------+-----------------------+----------+-----------------------------------------------------------------------------------------------------------------------------+---------------------+---------------------+---------------------+

...e esse é o limite das minhas habilidades com a BQ. Se você tiver alguma sugestão de dúvida que escreveu, envie-me uma nota nos problemas do github

imagens/status.png

Esquema

O esquema usado aqui tem praticamente o mesmo formato fornecido pela saída JSON do painel mostrado em incidentes.schema.json.

A única diferença é que cada linha no BQ é um incidente individual, em oposição a todos os incidentes encapsulados em um único JSON de acordo com o esquema fornecido acima.

Além disso, este esquema possui duas novas colunas:

  • insert_timestamp : este é um TIMESTAMP quando a linha/evento foi inserida
  • snapshot_hash : este é o hash codificado em base64 do arquivo incident.json conforme foi baixado.

Você pode ver o esquema de exemplo aqui neste repositório. 

 bq show --format=prettyjson --schema gcp-status-log:status_dataset.status

Configurar

Para todos os outros, você pode configurar tudo sozinho usando uma combinação de

  • Cloud Scheduler -> Cloud Run -> BigQUery

O que as seguintes configurações são:

  • A cada minuto, um Cloud Scheduler invoca com segurança um serviço Cloud Run
  • Cloud Run faz download de um arquivo de um bucket do GCS que contém o hash do arquivo JSON CSH inserido pela última vez
  • Cloud Run faz download e analisa os dados JSON CSH
  • se o hash do arquivo do GCS e dos arquivos baixados for diferente, então
    • Cloud Run insere os eventos CSH no BigQuery
    • faça upload de um arquivo para o GCS com o valor hash do arquivo CSH recém-inserido
  • caso contrário, basta continuar

é claro que este esquema depende do arquivo JSON CSH permanecer com o mesmo valor de hash se não houver atualizações (por exemplo, não inclui um carimbo de data e hora de atualização para suas próprias atualizações) 

 export PROJECT_ID= ` gcloud config get-value core/project `
export PROJECT_NUMBER= ` gcloud projects describe $PROJECT_ID --format= ' value(projectNumber) ' `
gcloud services enable containerregistry.googleapis.com 
   run.googleapis.com 
   bigquery.googleapis.com 
   cloudscheduler.googleapis.com 
   storage.googleapis.com

# # create the datasets.  We are using DAY partitioning
bq mk -d --data_location=US status_dataset 
bq mk  --table status_dataset.status   schema.json

# # create service accounts for cloud run and scheduler
gcloud iam service-accounts create schedulerunner --project= $PROJECT_ID
gcloud iam service-accounts create cloudrunsvc --project= $PROJECT_ID

bq add-iam-policy-binding 
  --member=serviceAccount:cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com 
  --role=roles/bigquery.admin status_dataset.status

gcloud projects add-iam-policy-binding $PROJECT_ID 
  --member= " serviceAccount:cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com " 
  --role= " roles/bigquery.jobUser "

# create a gcs bucket to store hash of the incidents json file
# the first value of the hash will force a reload of the incidents.json file
gsutil mb -l us-central1 gs:// $PROJECT_ID -status-hash
echo -n " foo " > /tmp/hash.txt 
gsutil cp  /tmp/hash.txt  gs:// $PROJECT_ID -status-hash/

gsutil iam ch  serviceAccount:cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com:roles/storage.admin gs:// $PROJECT_ID -status-hash/

# # you may also need to allow your users access to the dataset https://cloud.google.com/bigquery/docs/dataset-access-controls

# # build and deploy the cloud run image
docker build -t gcr.io/ $PROJECT_ID /gstatus .
docker push gcr.io/ $PROJECT_ID /gstatus

gcloud run deploy gcp-status --image  gcr.io/ $PROJECT_ID /gstatus  
  --service-account cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com 
  --set-env-vars " BQ_PROJECTID= $PROJECT_ID "  --no-allow-unauthenticated

export RUN_URL= ` gcloud run services describe gcp-status --region=us-central1 --format= " value(status.address.url) " `

# # allow cloud scheduler to call cloud run
gcloud run services add-iam-policy-binding gcp-status --region=us-central1 
  --member=serviceAccount:schedulerunner@ $PROJECT_ID .iam.gserviceaccount.com --role=roles/run.invoker

# # deploy cloud scheduler
gcloud scheduler jobs create http status-scheduler- $region --http-method=GET --schedule " */5 * * * * " 
    --attempt-deadline=420s --time-zone= " Pacific/Tahiti " --location=us-central1 
    --oidc-service-account-email=schedulerunner@ $PROJECT_ID .iam.gserviceaccount.com  
    --oidc-token-audience= $RUN_URL --uri= $RUN_URL

[espere 5 minutos]

Usando o Asset Inventory para serviços impactados

Você também pode combinar os eventos bq com dados de inventário de ativos para ajudar a identificar se um evento está impactando seu serviço.

Por exemplo, se você souber que há um evento em us-central1-a que está afetando as instâncias do GCE, poderá emitir uma consulta de pesquisa restringindo a lista de possíveis ativos: 

$ gcloud organizations list
DISPLAY_NAME               ID  DIRECTORY_CUSTOMER_ID
esodemoapp2.com  673202286123              C023zwabc

$ gcloud asset search-all-resources --scope= ' organizations/673202286123 ' 
  --query= " location:us-central1-a " 
  --asset-types= " compute.googleapis.com/Instance " --format= " value(name) "

//compute.googleapis.com/projects/in-perimeter-gcs/zones/us-central1-a/instances/in-perimeter
//compute.googleapis.com/projects/ingress-vpcsc/zones/us-central1-a/instances/ingress
//compute.googleapis.com/projects/fabled-ray-104117/zones/us-central1-a/instances/instance-1
//compute.googleapis.com/projects/fabled-ray-104117/zones/us-central1-a/instances/nginx-vm-1
//compute.googleapis.com/projects/clamav-241815/zones/us-central1-a/instances/instance-1
//compute.googleapis.com/projects/fabled-ray-104117/zones/us-central1-a/instances/windows-1

Outros conjuntos de dados BQ

Você também pode consultar funções e permissões do IAM em todo o mundo usando:

  • Conjunto de dados públicos de permissões de funções do Google Cloud IAM

Alternativa: Tipo de dados JSON BQ

Os eventos de origem são JSON, portanto, você também pode carregar cada evento no BQ usando o BQ Native Support para JSON DataType.

Este talvez seja um TODO e um exemplo de fluxo de trabalho, talvez assim: 

 export PROJECT_ID= ` gcloud config get-value core/project `
export PROJECT_NUMBER= ` gcloud projects describe $PROJECT_ID --format= ' value(projectNumber) ' `

bq mk --table status_dataset.json_dataset events:JSON
curl -o incidents.json -s https://status.cloud.google.com/incidents.json

cat incidents.json  | jq -c ' .[] | . ' | sed ' s/"/""/g ' | awk ' { print """$0"""} '  - > items.json


bq load --source_format=CSV status_dataset.json_dataset items.json
bq show status_dataset.json_dataset

$ bq show status_dataset.json_dataset

   Last modified        Schema        Total Rows   Total Bytes   Expiration   Time Partitioning   Clustered Fields   Labels  
 ----------------- ----------------- ------------ ------------- ------------ ------------------- ------------------ -------- 
  08 Apr 09:39:48   | - events: json   125          822184

Então, para consultar, você pode referenciar cada campo diretamente: 

$ bq query --nouse_legacy_sql  '
SELECT events["id"] as id, events["number"] as number,  events["begin"] as begin
  FROM `status_dataset.json_dataset` 
  LIMIT 10
'
+------------------------+------------------------+-----------------------------+
|           id           |         number         |            begin            |
+------------------------+------------------------+-----------------------------+
| " ukkfXQc8CEeFZbSTYQi7 " | " 14166479295409213890 " | " 2022-03-31T19:15:00+00:00 " |
| " RmPhfQT9RDGwWLCXS2sC " |  " 3617221773064871579 " | " 2022-03-31T18:07:00+00:00 " |
| " B1hD4KAtcxiyAWkcANfV " | " 17742360388109155603 " | " 2022-03-31T15:30:00+00:00 " |
| " 4rRjbE16mteQwUeXPZwi " |  " 8134027662519725646 " | " 2022-03-29T21:00:00+00:00 " |
| " 2j8xsJMSyDhmgfJriGeR " |  " 5259740469836333814 " | " 2022-03-28T22:30:00+00:00 " |
| " MtMwhU6SXrpBeg5peXqY " | " 17330021626924647123 " | " 2022-03-25T07:00:00+00:00 " |
| " R9vAbtGnhzo6n48SnqTj " |  " 2948654908633925955 " | " 2022-03-22T22:30:00+00:00 " |
| " aA3kbJm5nwvVTKnYbrWM " |   " 551739384385711524 " | " 2022-03-18T22:20:00+00:00 " |
| " LuGcJVjNTeC5Sb9pSJ9o " |  " 5384612291846020564 " | " 2022-03-08T18:07:00+00:00 " |
| " Hko5cWSXxGSsxfiSpg4n " |  " 6491961050454270833 " | " 2022-02-22T05:45:00+00:00 " |
+------------------------+------------------------+-----------------------------+

A modificação correspondente no Cloud Run envolveria a criação de carga formatada em CSV (já que a partir de 4/8/22 , o carregador legado CSV é compatível) 

		var rlines [] string
		for _ , event := range events {
			event . InsertTimestamp = now
			event . SnapshotHash = sha256Value
			strEvent , err := json . Marshal ( event )
			if err != nil {
				fmt . Printf ( "Error Marshal Event %v" , err )
				http . Error ( w , err . Error (), http . StatusInternalServerError )
				return
			}
			// for JSON Datatype 
			// https://cloud.google.com/bigquery/docs/reference/standard-sql/json-data
			line := strings . Replace ( string ( strEvent ), " " " , " " " " , - 1 )
			line = fmt . Sprintf ( " " %s " " , line )

			rlines = append ( rlines , line )
		}

		dataString := strings . Join ( rlines , " n " )
		rolesSource := bigquery . NewReaderSource ( strings . NewReader ( dataString ))
		rolesSource . SourceFormat = bigquery . CSV

De qualquer forma, JSON Datatype é apenas um TODO e não tenho certeza se é necessário no momento

Por que escolhi a hora do Taiti novamente para o agendador?

Por que não, veja por si mesmo:

imagens/bora-bora.jpg

Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos