BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

今回は「BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場」についてご紹介します。

関連ワード (反映、変更、改善等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。

オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。

To stay competitive, your business needs to quickly and easily make decisions based on real-time data.

Learn how Datastream for BigQuery is the easiest way to replicate data from operational databases directly into #BigQuery for real-time analytics ↓https://t.co/wKOu8Q29BT

— Google Cloud Tech (@GoogleCloudTech) September 16, 2022

Datastream for BigQueryは設定も容易で、データのレプリケートだけでなく、ソースとなるデータベースのスキーマ変更も自動的に反映されるとのことです。下記は「Introducing Datastream for BigQuery」からの引用です。

Just configure your source database, connection type, and destination in BigQuery and you’re all set. Datastream for BigQuery will backfill historical data and continuously replicate new changes as they happen. And as database schemas shift, Datastream seamlessly handles schema changes and automatically adds new tables and columns to BigQuery.

Datastream for BigQueryは、ソースデータベース、接続タイプ、接続先をBigQueryで設定するだけで、すぐに利用できます。Datastream for BigQueryは、過去のデータに遡ってデータを取得し、新しい変更が発生するとそれを継続的にレプリケートします。また、データベースのスキーマが変更されても、Datastreamはスキーマの変更をシームレスに処理し、新しいテーブルとカラムをBigQueryに自動的に追加します。

Google CloudはこのDatastream for BigQueryの登場に合わせて、大規模データのBigQueryへの移動を安価に行える、データボリュームに合わせた新しい価格体系も発表しています。

これまでBigQueryはその性能の高さが評価される一方で、既存のデータベースからのデータ移行については課題を抱えていました。Datastream for BigQueryはその改善を大きく進めるものとなりそうです。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
NICT、光伝送で世界記録更新 従来記録の2.7倍 「Beyond 5G」以降の通信システム基盤に
企業・業界動向
2021-06-22 12:19
日本HP、新年度事業戦略を発表–Windows 11で「買い換えサイクル短縮を期待」
IT関連
2022-01-22 04:36
リモートでカットの指示が出せる撮影プラットフォームのSoona、シリーズBで約40.1億円調達
IT関連
2022-02-09 01:10
NECネッツエスアイ、自治体向けサブスク型サービスを提供–補助金申請業務をオンライン化
IT関連
2023-08-24 19:28
アットホーム、不動産情報流通システムにノーコードで操作ナビを実装
IT関連
2022-04-03 01:41
元の働き方には戻らない–新たなモデルをどう実現するべきか
IT関連
2021-03-03 23:07
エンジニア採用時のコーディング試験サービス「HireRoo」が3600万円を調達、β版提供も開始
HRテック
2021-03-26 20:59
マイクロソフトが離れていてもイベントを共有できる複合現実プラットフォーム「Microsoft Mesh」を発表
VR / AR / MR
2021-03-04 12:09
グーグル「Workspace」に複数のアップデート–セキュリティや共同作業など強化
IT関連
2022-04-05 20:46
契約審査「LegalForce」、自動レビュー機能が就業規則に対応–条項の抜け漏れなどを防止
IT関連
2022-12-18 17:35
三原市、LGWAN環境のクラウド利用を「A10 Thunder CFW」で改善
IT関連
2024-06-01 03:01
長野県とエプソン、AIを活用した畜産振興に向け連携協定を締結
IT関連
2022-11-04 07:49
サステナブルな社会を創っていくために私たちが今やるべきことは何か
IT関連
2023-07-07 21:49
マイクロソフトの「Inspire 2023」–AIとパートナーシップに関する10の発表
IT関連
2023-07-22 09:04