BigQuery

BigQuery

BigQuery(ビッグクエリ)は、ペタバイト単位のデータに対するスケーラブルな分析を可能にする、フルマネージドのサーバーレスデータウェアハウスである。ANSI SQLを使用したクエリをサポートするPlatform as a ServicePaaS)としてGoogle Cloud Platformにより提供されている。また、機械学習の機能も組み込まれている。BigQueryは2010年5月に発表され、2011年11月に一般提供(GA)となった[1]

設計

BigQueryは、GoogleのDremelシステムへの外部アクセスを提供する[2][3]。Dremelは、ネストされたデータを分析するためのスケーラブルでインタラクティブなアドホックなクエリシステムである。BigQueryでは、すべてのリクエストで認証が必須となっており、OAuthに加えて、Google独自のメカニズムも多数サポートしている。

特徴

  • データの管理 - テーブル、ビュー、ユーザー定義関数などのオブジェクトを作成・削除する。Google Cloud Storage英語版から、CSV、Parquet、Avro、JSONなどの形式でデータをインポートできる。
  • クエリ - クエリは標準のSQL方言で表現され[4]、結果は最大応答長約128MBのJSONで返されるか、large query resultsが有効になっている場合は、無制限のサイズで返される[5]
  • インテグレーション - BigQueryは、Google Apps Script[6](たとえば、Google Docsのバインドされたスクリプトとして)や、そのREST APIまたはクライアントライブラリと連携できる任意の言語から使用できる[7]
  • アクセス制御 - データセットを任意のユーザー、グループ、または世界と共有できる。
  • 機械学習 - SQLクエリを使用して機械学習モデルを作成・実行できる。

出典

 

  1. ^ Iain Thomson (November 14, 2011). “Google opens BigQuery for cloud analytics: Dangles free trial to lure doubters”. August 26, 2016閲覧。
  2. ^ Sergey Melnik (2010年). “Dremel: Interactive Analysis of Web-Scale Datasets”. Proc. of the 36th International Conference on Very Large Data Bases (VLDB). 2021年4月25日閲覧。
  3. ^ Kazunori Sato (2012年). “An Inside Look at Google BigQuery”. August 26, 2016閲覧。
  4. ^ SQL Reference”. 26 June 2017閲覧。
  5. ^ Quota Policy”. 26 June 2017閲覧。
  6. ^ BigQuery Service | Apps Script | Google Developers” (March 15, 2018). April 23, 2018閲覧。
  7. ^ BigQuery Client Libraries”. 26 June 2017閲覧。

外部リンク