BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場

今回は「BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場」についてご紹介します。

関連ワード (反映、変更、改善等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。

オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。

To stay competitive, your business needs to quickly and easily make decisions based on real-time data.

Learn how Datastream for BigQuery is the easiest way to replicate data from operational databases directly into #BigQuery for real-time analytics ↓https://t.co/wKOu8Q29BT

— Google Cloud Tech (@GoogleCloudTech) September 16, 2022

Datastream for BigQueryは設定も容易で、データのレプリケートだけでなく、ソースとなるデータベースのスキーマ変更も自動的に反映されるとのことです。下記は「Introducing Datastream for BigQuery」からの引用です。

Just configure your source database, connection type, and destination in BigQuery and you’re all set. Datastream for BigQuery will backfill historical data and continuously replicate new changes as they happen. And as database schemas shift, Datastream seamlessly handles schema changes and automatically adds new tables and columns to BigQuery.

Datastream for BigQueryは、ソースデータベース、接続タイプ、接続先をBigQueryで設定するだけで、すぐに利用できます。Datastream for BigQueryは、過去のデータに遡ってデータを取得し、新しい変更が発生するとそれを継続的にレプリケートします。また、データベースのスキーマが変更されても、Datastreamはスキーマの変更をシームレスに処理し、新しいテーブルとカラムをBigQueryに自動的に追加します。

Google CloudはこのDatastream for BigQueryの登場に合わせて、大規模データのBigQueryへの移動を安価に行える、データボリュームに合わせた新しい価格体系も発表しています。

これまでBigQueryはその性能の高さが評価される一方で、既存のデータベースからのデータ移行については課題を抱えていました。Datastream for BigQueryはその改善を大きく進めるものとなりそうです。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
体験型ストア運営のb8ta Japanが日本における全ライセンス取得し米国b8taから独立、アジア進出も視野
IT関連
2022-02-26 15:17
サイオス、2023年度はSaaS事業への投資を継続–DX目的に活用機運高まる
IT関連
2022-12-09 04:24
AWSはなぜ「パートナー認定プログラム」を推し進めるのか
IT関連
2024-03-22 04:15
Valveの携帯ゲームPC「Steam Deck」の分解動画をiFixitが公開、SSDやアナログスティックは交換しやすい設計
IT関連
2022-02-17 12:35
Airbnb、1月20日の新大統領就任式に向け議事堂襲撃者の宿泊を制限する計画
企業・業界動向
2021-01-13 23:35
江部松商事、倉庫業務向けハンディーターミナルを導入–倉庫内移動を1日計23時間削減
IT関連
2024-02-10 03:37
「Linux」でトップダウンターミナルを使う–作業効率の向上に効果
IT関連
2022-10-21 12:13
台湾TSMC、アリゾナ州に第2の半導体工場を建設へ–投資5.5兆円に
IT関連
2022-12-08 06:19
JT、データインフラを導入で人的資本経営を促進
IT関連
2022-11-19 11:49
ウェルネス産業向け会員管理・予約・決済SaaSのhacomonoが20億円のシリーズB調達、エンジニア・デザイナーなど採用強化
IT関連
2022-03-03 15:47
経営管理プラットフォーム「DIGGLE」、「freee会計」とAPI連携–ワンクリックで予実突合
IT関連
2024-05-12 04:03
ランサムウェア犯罪集団「REvil」の容疑者、ロシアで逮捕・起訴
IT関連
2022-01-19 06:52
マイクロソフト「Azure Arc」でAzureのアプリケーションサービスが利用可能に
IT関連
2021-05-27 14:03
オラクル、Java開発を効率化するVSCode用拡張機能「Oracle Java Platform Extension for Visual Studio Code」を公開
IT関連
2023-10-19 01:38