Utilizamos cookies propias y de terceros para ofrecer nuestros servicios y recoger datos estadísticos. Continuar navegando implica su aceptación. Más información

Aceptar
beServices se convierte en el quinto proveedor español VMWare Cloud Verified
Volver

BigQuery Omni : Análisis de datos multicloud

07-10-2020
BigQuery Omni : Análisis de datos multicloud

¿Qué es Google BigQuery? 

Google BigQuery es un almacén de datos empresarial administrado y sin servidor que permite realizar consultas SQL de alta velocidad gracias al poder de procesamiento de la infraestructura de Google. Permite la carga de datos de una gran variedad de fuentes como BigTable, Cloud Storage, Google Drive y Cloud SQL y admite formatos como Avro, CSV, JSON, Apache ORC y Apache Parquet.

¿Qué novedades ofrece BigQuery Omni? 

Hasta el momento, para utilizar Bigquery los datos debían almacenarse exclusivamente en Google Cloud Platform. Con la aparición de Bigquery Omni esta limitación desaparece, permitiendo analizar datos sin importar dónde estos estén almacenados.

Bigquery Omni es, por lo tanto, una extensión de Bigquery que se ejecuta sobre clústeres de Anthos (la plataforma de aplicaciones híbridas y multi nube de Google) permitiendo que las consultas y análisis de datos no solo se realicen sobre datos que residen en GCP sino también sobre datos almacenados en otras nubes públicas como AWS S3 (Private Alpha) y Azure (próximamente) sin tener que mover conjuntos de datos entre plataformas o realizar copias de los mismos. Utiliza la misma interfaz de Bigquery en Google Cloud haciendo uso de todo su potencial (aunque algunas características no están todavía disponibles como Bigquery ML, por ejemplo).

Almacén de datos analíticos multicloud. 

El hecho de que Bigquery Omni permita analizar datos almacenados en otras nubes públicas diferentes a la de Google es posible gracias a la separación entre procesamiento y almacenamiento propia de Bigquery. El desacoplar estos dos componentes hace que por un lado se proporcione un almacenamiento escalable que puede residir en Google Cloud u en otras nubes públicas y por otro un motor de consultas en SQL estándar que se ejecuta en la misma consola de GCP.


Bigquery Omni ejecuta el motor de consultas de BigQuery en clústeres de Anthos completamente administrados por Google Cloud, dentro del servicio de BigQuery. BigQuery obtiene los datos del almacenamiento de datos externo una vez autorizados los permisos a través de las funciones de IAM de las otras nubes públicas.

De esta manera los datos consultados se ejecutan realmente en la nube remota y solo los resultados de la consulta son transferidos de nuevo a GCP.  Transladamos únicamente  los datos necesarios y no toda la información de la nube remota a Google Cloud. Bigquery solo emite los resultados del cálculo de datos, no los datos en sí.  El coste asociado sigue las mismas directrices que el servicio de Bigquery: se calcula a partir del número de datos procesados por cada consulta ejecutada, independientemente de la nube en la que se encuentren.

Una vez ejecutada la consulta, los resultados pueden conservarse en la capa de almacenamiento de la nube remota o copiarse físicamente en el almacenamiento nativo de Bigquery en Google Cloud Platform desde donde se procesarán y combinarán con los datos que ya estaban almacenados previamente en BigQuery. 

Dado que para cualquier nube pública siempre existe un coste de extracción de datos y este suele ser elevado, el lugar donde residen los mismos marca inevitablemente la selección de la nube donde se crearán nuevos servicios y datos adicionales. Estos van aumentando en número y volumen de manera que el coste de cambiar de nube o utilizar servicios de otras nubes sea cada vez más elevado y limite la elección de servicios en nubes diferentes.

Teniendo en cuenta esto, el enfoque de múltiples nubes que propone Omni ofrece una mayor flexibilidad de elección y una reducción de costes considerable. Es una manera fácil para que las empresas comiencen a aprovechar la potencia y la facilidad de uso de BigQuery, sin importar en qué nube se encuentren actualmente sus datos.

BigQuery Omni ya está disponible en Private Alpha para AWS S3, y llegará a Azure próximamente.

¡Contacta con nosotros!