AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開

今回は「AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開」についてご紹介します。

関連ワード (企業、回答、生成等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


AWSは、ファイルやデータベースなどのデータソースからデータウェアハウスへデータを集積する際のデータ変換や転送処理などのスクリプトを、自然言語による説明から自動的に生成してくれる新サービス「Amazon Q data integration in AWS Glue」のプレビュー公開を発表しました。

figAWS re:Invent 2023でAmazon Q data integration in AWS Glueが登場することが予告されていた

Amazon Qは、昨年(2023年)11月に開催されたイベント「AWS re:Invent 2023」で発表された生成AIサービスです。このAmazon QをETLサービスであるAWS Glueと統合することも、AWS re:Invent 2023で予告されていました。

参考:[速報]AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023

多様なデータソースをまとめるETLスクリプトの作成は面倒だった

企業が顧客分析や売り上げ分析などを行う際には、顧客データや売り上げデータ、マーケティングデータなどのさまざまなデータを、分析しやすい形でデータウェアハウスに統合することが望ましいとされています。

しかしそれぞれのデータは、それぞれの業務向けデータベースやクラウドサービス、場合によってはファイルなどのさまざまな形式で保存されていることがほとんどであり、データウェアハウスに統合するには、そうしたデータソースから適切にデータを抽出し(Extract)、変換し(Transform)、転送する(Load)、いわゆる「ETLツール」が使われます。

しかし容易に想像できるように、さまざまなデータソースを適切に統合するには、ETLツールに対してきめ細かな操作を指定したスクリプトを与える必要があり、それは容易ではなく手間もかかります。

今回プレビューが開始された「Amazon Q data integration in AWS Glue」は、この面倒で手間がかかるETLスクリプトを、自然言語で指定するだけで生成してくれるというものです。

Amazon QがETLスクリプトを自動生成してくれる

Amazon Qで自然言語による指示でETLスクリプトが自動生成される具体的な例を「New chat experience for AWS Glue using natural language – Amazon Q data integration in AWS Glue (Preview)」から引用しましょう。

下記は、「Amazon Redshiftからデータを読み込んでNull値を省略した上で、Amazon S3にParquetファイル形式で書き込む」(Write a Glue ETL job that reads from Redshift, drops null fields, and writes to S3 as parquet files.)という指示をして、ETLスクリプトが生成されたところです。

fig

このとき、内部ではAmazon Bedrockによってプロンプトが適切に分割されて処理され、結果が統合されて出力されると、AWS re:Invent 2023では説明されていました。

データベース管理者や開発者は、Amazon Qによってこれまでよりも圧倒的に効率よくETLを実現できるようになることが期待されます。

Amazon Qと既存のAWSサービスとの連携が今後相次ぐだろう

AWSはAmazon Qを今回のETLスクリプトの生成だけでなく、デベロッパーライフサイクルのあらゆる場面で活用することで、生産性を高めることを明らかにしています。

fig

デベロッパーがAWS上でどんなアプリケーションを開発し、どんなデータベースを運用し、どんな業務を行っているのか、そうした情報を基に生成AIであるAmazon Qを活用することで、より精度の高い回答を提供することができます。

これがAWSにとって、ChatGPやマイクロソフトのCopilotに対する最大の優位性となります。

その優位性を活かした、Amazon Qと既存のAWSサービスとの連携が今後も発表されていくはずです。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Rivianがコロラド州に続きテネシー州の56の州立公園にEVチャージャーを設置
モビリティ
2021-07-23 09:14
「Microsoft 365 Copilot」が「OneNote」でも利用可能に
IT関連
2023-04-08 06:28
“俺の嫁召喚装置”Gateboxに等身大の大型モデル 65インチOLEDディスプレイ搭載
最近の注目ニュース
2021-03-09 00:32
グーグル、米国とブラジル、アルゼンチンなど結ぶ海底ケーブル「Firmina」の計画示す
IT関連
2021-06-10 14:31
Facebookは2021年のターゲティング広告と収入に大きな障害を予測する
ネットサービス
2021-01-29 13:57
GitHub、コードに書いてはいけないシークレットの検知機能をすべてのパブリックリポジトリに無料で正式提供開始
GitHub
2023-03-02 12:26
Istio 1.10リリース。スケーラビリティの向上やカナリアアップデートを容易に
Docker / コンテナ / 仮想化
2021-06-01 06:27
日本サニパック、インドネシア工場に「NEC 遠隔業務支援サービス」導入
IT関連
2021-03-31 00:39
タグ・ホイヤー×スーパーマリオのコラボ時計は「Wear OS」搭載で25万8000円
くらテク
2021-07-15 12:10
サッポログループ物流、請求書の9割をデジタル化–物流業界のDXを促進
IT関連
2022-06-25 13:32
「Linux」を平均的なユーザーにも使いやすく–パッケージマネージャー「Flatpak」「Snap」
IT関連
2022-10-07 19:26
副業の約8割がリモート前提に―副業マッチングのシューマツワーカーが「副業系サービスカオスマップ 2022年版」公開
IT関連
2022-02-04 16:13
Visaカードが日本でもApple Payに対応 iPhoneやApple Watchでタッチ決済が可能に
企業・業界動向
2021-05-12 16:54
アビームコンサルティング、従業員エクスペリエンス管理ソリューションを導入
IT関連
2023-02-04 04:57