Inicio>Relacionado con la programación>Otro código fuente
Descargar
gcp_cloud_status_dataset

Conjunto de datos públicos del panel de estado de la nube de GCP

Este es un conjunto de datos de Bigquery simple que contiene eventos de Google Cloud Service Health (CSH).

Puede utilizar esto para consultar eventos y filtrar los incidentes que le interesen.

Se activa cada minuto. Si no hay ninguna actualización de una interrupción existente o no se detecta una nueva interrupción, no se inserta ninguna fila nueva.

También puede utilizar esto junto con la API de Inventario de Activos para correlacionar eventos en una ubicación/región determinada con los activos que pueden verse afectados.

De todos modos, el panel CSH existente proporciona los datos en varios formatos como RSS y JSON y, aunque puede realizar consultas y filtros simples usando jq 

 curl -s https://status.cloud.google.com/incidents.json | jq -r ' .[]  | select(.service_name == "Google Compute Engine") '

sin embargo, simplemente no está en una forma que sea fácil de usar.

Entonces, en lugar de json sin formato, ¿qué tal si en una tabla de bigquery usted o cualquiera pueda usar...

Aquí está el conjunto de datos:

  • https://console.cloud.google.com/bigquery?project=gcp-status-log&p=gcp-status-log&d=status_dataset

Para usar esto, primero agregue el siguiente proyecto a la interfaz de usuario gcp-status-log . Una vez hecho esto, cualquier consulta que realice utilizará este conjunto de datos, pero facturará su proyecto por su propio uso. (es decir, solo estoy proporcionando los datos... la consulta que ejecutes es lo que pagarás)

NOTA: este repositorio, conjunto de datos y código NO son compatibles con Google. advertencia emptor

Uso

  • Consulta de interrupciones de GCE 
 bq query --nouse_legacy_sql  '
SELECT
  DISTINCT(id), service_name,severity,external_desc, begin,`end` , modified
FROM
     gcp-status-log.status_dataset.status
WHERE
  service_name = "Google Compute Engine"
ORDER BY
  modified
'
+----------------------+-----------------------+----------+-----------------------------------------------------------------------------------------------------------------------------+---------------------+---------------------+---------------------+
|          id          |     service_name      | severity |                                                        external_desc                                                        |        begin        |         end         |      modified       |
+----------------------+-----------------------+----------+-----------------------------------------------------------------------------------------------------------------------------+---------------------+---------------------+---------------------+
| pxD6QciVMd9gLQGcREbV | Google Compute Engine | medium   | Requests to and from Google Compute Instances in us-west2 may see increase traffic loss when using the instance's public IP | 2021-05-05 02:11:10 | 2021-05-05 04:54:57 | 2021-05-05 04:54:57 |
| LGFBxyLwbh92E47fAzJ5 | Google Compute Engine | medium   | Mutliregional Price for E2 Free Tier core is set incorrectly                                                                | 2021-08-01 07:00:00 | 2021-08-04 23:18:00 | 2021-08-05 17:35:12 |
| gwKjX9Lukav15SaFPbBF | Google Compute Engine | medium   | us-central1, europe-west1, us-west1, asia-east1: Issue with Local SSDs on Google Compute Engine.                            | 2021-09-01 02:35:00 | 2021-09-03 03:55:00 | 2021-09-07 21:39:46 |
| rjF86FbooET3FDpMV9w1 | Google Compute Engine | medium   | Increased VM failure rates in a subset of Google Cloud zones                                                                | 2021-09-17 15:00:00 | 2021-09-17 18:25:00 | 2021-09-20 23:33:53 |
| ZoUf49v2qbJ9xRK63kaM | Google Compute Engine | medium   | Some Users might have received credit cards deemed invalid email erroneously.                                               | 2021-11-13 07:14:48 | 2021-11-13 08:29:30 | 2021-11-13 08:29:30 |
| SjJ3FN51MAEJy7cZmoss | Google Compute Engine | medium   | Global: pubsub.googleapis.com autoscaling not worked as expected                                                            | 2021-12-07 09:56:00 | 2021-12-14 00:59:00 | 2021-12-14 19:59:08 |
+----------------------+-----------------------+----------+-----------------------------------------------------------------------------------------------------------------------------+---------------------+---------------------+---------------------+

...y ese es el límite de mis habilidades con BQ. Si tiene alguna sugerencia de consulta que haya escrito, envíeme una nota en problemas de github.

imágenes/estado.png

Esquema

El esquema utilizado aquí es prácticamente el mismo formato proporcionado por la salida JSON del panel que se muestra en incidents.schema.json.

La única diferencia es que cada fila en BQ es un incidente individual, a diferencia de todos los incidentes encapsulados en un único JSON según el esquema proporcionado anteriormente.

Además, este esquema tiene dos columnas nuevas:

  • insert_timestamp : esta es una TIMESTAMP cuando se insertó la fila/evento
  • snapshot_hash : este es el hash codificado en base64 del archivo incident.json tal como se descargó.

Puede ver el esquema de ejemplo aquí en este repositorio. 

 bq show --format=prettyjson --schema gcp-status-log:status_dataset.status

Configuración

Para todos los demás, puedes configurar todo por tu cuenta usando una combinación de

  • Cloud Scheduler -> Cloud Run -> BigQUery

Lo que se configura a continuación es:

  • Cada minuto, un Cloud Scheduler invoca de forma segura un servicio Cloud Run
  • Cloud Run descarga un archivo de un depósito de GCS que contiene el hash del último archivo JSON CSH insertado
  • Cloud Run descarga y analiza los datos JSON CSH
  • Si el hash del archivo de GCS y los archivos descargados son diferentes, entonces
    • Cloud Run inserta los eventos CSH en BigQuery
    • cargar un archivo en GCS con el valor hash del archivo CSH recién insertado
  • de lo contrario, simplemente continúa

Por supuesto, este esquema depende de que el archivo JSON CSH permanezca con el mismo valor hash si no hay actualizaciones (por ejemplo, no incluye una marca de tiempo de actualización para sus propias actualizaciones). 

 export PROJECT_ID= ` gcloud config get-value core/project `
export PROJECT_NUMBER= ` gcloud projects describe $PROJECT_ID --format= ' value(projectNumber) ' `
gcloud services enable containerregistry.googleapis.com 
   run.googleapis.com 
   bigquery.googleapis.com 
   cloudscheduler.googleapis.com 
   storage.googleapis.com

# # create the datasets.  We are using DAY partitioning
bq mk -d --data_location=US status_dataset 
bq mk  --table status_dataset.status   schema.json

# # create service accounts for cloud run and scheduler
gcloud iam service-accounts create schedulerunner --project= $PROJECT_ID
gcloud iam service-accounts create cloudrunsvc --project= $PROJECT_ID

bq add-iam-policy-binding 
  --member=serviceAccount:cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com 
  --role=roles/bigquery.admin status_dataset.status

gcloud projects add-iam-policy-binding $PROJECT_ID 
  --member= " serviceAccount:cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com " 
  --role= " roles/bigquery.jobUser "

# create a gcs bucket to store hash of the incidents json file
# the first value of the hash will force a reload of the incidents.json file
gsutil mb -l us-central1 gs:// $PROJECT_ID -status-hash
echo -n " foo " > /tmp/hash.txt 
gsutil cp  /tmp/hash.txt  gs:// $PROJECT_ID -status-hash/

gsutil iam ch  serviceAccount:cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com:roles/storage.admin gs:// $PROJECT_ID -status-hash/

# # you may also need to allow your users access to the dataset https://cloud.google.com/bigquery/docs/dataset-access-controls

# # build and deploy the cloud run image
docker build -t gcr.io/ $PROJECT_ID /gstatus .
docker push gcr.io/ $PROJECT_ID /gstatus

gcloud run deploy gcp-status --image  gcr.io/ $PROJECT_ID /gstatus  
  --service-account cloudrunsvc@ $PROJECT_ID .iam.gserviceaccount.com 
  --set-env-vars " BQ_PROJECTID= $PROJECT_ID "  --no-allow-unauthenticated

export RUN_URL= ` gcloud run services describe gcp-status --region=us-central1 --format= " value(status.address.url) " `

# # allow cloud scheduler to call cloud run
gcloud run services add-iam-policy-binding gcp-status --region=us-central1 
  --member=serviceAccount:schedulerunner@ $PROJECT_ID .iam.gserviceaccount.com --role=roles/run.invoker

# # deploy cloud scheduler
gcloud scheduler jobs create http status-scheduler- $region --http-method=GET --schedule " */5 * * * * " 
    --attempt-deadline=420s --time-zone= " Pacific/Tahiti " --location=us-central1 
    --oidc-service-account-email=schedulerunner@ $PROJECT_ID .iam.gserviceaccount.com  
    --oidc-token-audience= $RUN_URL --uri= $RUN_URL

[espera 5 minutos]

Uso del inventario de activos para los servicios afectados

También puedes combinar los eventos de bq con datos de inventario de activos para ayudar a determinar si un evento está afectando tu servicio.

Por ejemplo, si sabe que hay un evento en us-central1-a que está afectando a las instancias de GCE, puede emitir una consulta de búsqueda que restrinja la lista de activos potenciales: 

$ gcloud organizations list
DISPLAY_NAME               ID  DIRECTORY_CUSTOMER_ID
esodemoapp2.com  673202286123              C023zwabc

$ gcloud asset search-all-resources --scope= ' organizations/673202286123 ' 
  --query= " location:us-central1-a " 
  --asset-types= " compute.googleapis.com/Instance " --format= " value(name) "

//compute.googleapis.com/projects/in-perimeter-gcs/zones/us-central1-a/instances/in-perimeter
//compute.googleapis.com/projects/ingress-vpcsc/zones/us-central1-a/instances/ingress
//compute.googleapis.com/projects/fabled-ray-104117/zones/us-central1-a/instances/instance-1
//compute.googleapis.com/projects/fabled-ray-104117/zones/us-central1-a/instances/nginx-vm-1
//compute.googleapis.com/projects/clamav-241815/zones/us-central1-a/instances/instance-1
//compute.googleapis.com/projects/fabled-ray-104117/zones/us-central1-a/instances/windows-1

Otros conjuntos de datos de BQ

También puedes consultar roles y permisos de IAM en todo el mundo usando:

  • Conjunto de datos públicos de permisos y roles de Google Cloud IAM

Alternativa: tipo de datos BQ JSON

Los eventos de origen son JSON, por lo que también podría cargar cada evento en BQ utilizando el soporte nativo de BQ para JSON DataType.

Esto tal vez sea un TODO y un flujo de trabajo de muestra tal vez como este: 

 export PROJECT_ID= ` gcloud config get-value core/project `
export PROJECT_NUMBER= ` gcloud projects describe $PROJECT_ID --format= ' value(projectNumber) ' `

bq mk --table status_dataset.json_dataset events:JSON
curl -o incidents.json -s https://status.cloud.google.com/incidents.json

cat incidents.json  | jq -c ' .[] | . ' | sed ' s/"/""/g ' | awk ' { print """$0"""} '  - > items.json


bq load --source_format=CSV status_dataset.json_dataset items.json
bq show status_dataset.json_dataset

$ bq show status_dataset.json_dataset

   Last modified        Schema        Total Rows   Total Bytes   Expiration   Time Partitioning   Clustered Fields   Labels  
 ----------------- ----------------- ------------ ------------- ------------ ------------------- ------------------ -------- 
  08 Apr 09:39:48   | - events: json   125          822184

Luego, para realizar consultas, puede hacer referencia a cada archivo directamente: 

$ bq query --nouse_legacy_sql  '
SELECT events["id"] as id, events["number"] as number,  events["begin"] as begin
  FROM `status_dataset.json_dataset` 
  LIMIT 10
'
+------------------------+------------------------+-----------------------------+
|           id           |         number         |            begin            |
+------------------------+------------------------+-----------------------------+
| " ukkfXQc8CEeFZbSTYQi7 " | " 14166479295409213890 " | " 2022-03-31T19:15:00+00:00 " |
| " RmPhfQT9RDGwWLCXS2sC " |  " 3617221773064871579 " | " 2022-03-31T18:07:00+00:00 " |
| " B1hD4KAtcxiyAWkcANfV " | " 17742360388109155603 " | " 2022-03-31T15:30:00+00:00 " |
| " 4rRjbE16mteQwUeXPZwi " |  " 8134027662519725646 " | " 2022-03-29T21:00:00+00:00 " |
| " 2j8xsJMSyDhmgfJriGeR " |  " 5259740469836333814 " | " 2022-03-28T22:30:00+00:00 " |
| " MtMwhU6SXrpBeg5peXqY " | " 17330021626924647123 " | " 2022-03-25T07:00:00+00:00 " |
| " R9vAbtGnhzo6n48SnqTj " |  " 2948654908633925955 " | " 2022-03-22T22:30:00+00:00 " |
| " aA3kbJm5nwvVTKnYbrWM " |   " 551739384385711524 " | " 2022-03-18T22:20:00+00:00 " |
| " LuGcJVjNTeC5Sb9pSJ9o " |  " 5384612291846020564 " | " 2022-03-08T18:07:00+00:00 " |
| " Hko5cWSXxGSsxfiSpg4n " |  " 6491961050454270833 " | " 2022-02-22T05:45:00+00:00 " |
+------------------------+------------------------+-----------------------------+

La modificación correspondiente a Cloud Run implicaría la creación de una carga con formato CSV (ya que a partir del 4/8/22 , se admite el cargador heredado de CSV) 

		var rlines [] string
		for _ , event := range events {
			event . InsertTimestamp = now
			event . SnapshotHash = sha256Value
			strEvent , err := json . Marshal ( event )
			if err != nil {
				fmt . Printf ( "Error Marshal Event %v" , err )
				http . Error ( w , err . Error (), http . StatusInternalServerError )
				return
			}
			// for JSON Datatype 
			// https://cloud.google.com/bigquery/docs/reference/standard-sql/json-data
			line := strings . Replace ( string ( strEvent ), " " " , " " " " , - 1 )
			line = fmt . Sprintf ( " " %s " " , line )

			rlines = append ( rlines , line )
		}

		dataString := strings . Join ( rlines , " n " )
		rolesSource := bigquery . NewReaderSource ( strings . NewReader ( dataString ))
		rolesSource . SourceFormat = bigquery . CSV

De todos modos, el tipo de datos JSON es solo TODO y no estoy seguro de si es necesario en este momento.

¿Por qué elegí de nuevo la hora de Tahití para el programador?

¿Por qué no? Compruébelo usted mismo:

imágenes/bora-bora.jpg

Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo