BigQuery

BigQuery — це безсерверне сховище даних, що належить Google^[1], для інтерактивного широкомасштабного аналізу великих наборів даних. Може використовуватись через веб інтерфейс, інтерфейс командного рядка та API. Оплата здійснюється за кількість терабайт даних опрацьованих при виконанні запитів.^[1]

Після обмеженого періоду тестування в 2010 році BigQuery став доступним широкому загалу у листопаді 2011 року на конференції Google Atmosphere.^[2] У 2014 році MapR^[en] представив проект Apache Drill для вирішення подібних проблем.^[3] У квітні 2016 року європейські користувачі зазнали 12-годинного збою у роботі служби.^[4] У травні 2016 року була оголошена підтримка для Google Sheets.^[5]

BigQuery використовує ряд технологій Google, таких як рушій виконання запитів Dremel^[6][7], систему керування кластером Google Borg, файлову систему Colossus, формат даних Capacitor та мережу Jupiter. Архітектура відокремлює зберігання даних від їх обробки, що дозволяє окремо маштабувати зберігання і запити^[1].

BigQuery підтримує як пакетний або потоковий режим запису вхідних даних. Для зберігання даних використовується колонковий формат^[en] Capacitor. Кожна колонка зберігається в окремому файлі, що дозволяє ефективніше їх стискати і читати. Після кодування дані записуються в Colossus, яка є наступницею Google File System, і дозволяє читати зі швидкістю до терабайта за секунду.^[1]

Таблиці які зберігає BigQuery називають внутрішніми. BigQuery також підтримує запити до зовнішніх таблиць, які можуть зберігатись у Bigtable, GCS, чи Google Drive^[1]. Запити до зовнішніх даних повільніші.

Для виконання запитів система керування кластером Google Borg запускає тисячі паралельних робіт (англ. jobs) Dremel, кожна з яких може читати дані своєї частини таблиці, фільтрувати та агрегувати їх і передавати іншим роботам. Передача даних між ними здійснюється за допомогою мережі Jupiter, яка може передавати зі швидкістю до 1 петабіта на секунду.^[1]

• Управління даними — створення та видалення таблиць на основі JSON-схеми, імпорт даних у форматі CSV або JSON з Google Cloud Storage.
• Запити — для запитів використовується стандарт SQL:2011^[8], а результат повертається у форматі JSON з максимальним розміром відповіді приблизно 128 MB або необмеженого розміру, коли обрано опцію великих запитів.^[9]
• Інтеграція — BigQuery можна використовувати з Google Apps Script^[10] (наприклад, як скрипт для Google Docs) або будь-якою мовою, яка працює з REST API або клієнтськими бібліотеками^[11].
• Контроль доступу — це можливість надавати доступ до даних довільним особам, групам або будь-кому.

BigQuery підтримує функції задані користувачем^[en] мовою JavaScript.^[12]

• Amazon Athena
• Apache Drill
• Amazon Redshift

• Офіційний сайт [Архівовано 29 грудня 2014 у Wayback Machine.]
• Google BigQuery introduction by Jordan Tigani