AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開

今回は「AWS、自然言語による指示で面倒だったETLスクリプトを自動生成してくれる「Amazon Q data integration in AWS Glue」プレビュー公開」についてご紹介します。

関連ワード（企業、回答、生成等）についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

AWSは、ファイルやデータベースなどのデータソースからデータウェアハウスへデータを集積する際のデータ変換や転送処理などのスクリプトを、自然言語による説明から自動的に生成してくれる新サービス「Amazon Q data integration in AWS Glue」のプレビュー公開を発表しました。

Amazon Qは、昨年（2023年）11月に開催されたイベント「AWS re:Invent 2023」で発表された生成AIサービスです。このAmazon QをETLサービスであるAWS Glueと統合することも、AWS re:Invent 2023で予告されていました。

参考：［速報］AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023

多様なデータソースをまとめるETLスクリプトの作成は面倒だった

企業が顧客分析や売り上げ分析などを行う際には、顧客データや売り上げデータ、マーケティングデータなどのさまざまなデータを、分析しやすい形でデータウェアハウスに統合することが望ましいとされています。

しかしそれぞれのデータは、それぞれの業務向けデータベースやクラウドサービス、場合によってはファイルなどのさまざまな形式で保存されていることがほとんどであり、データウェアハウスに統合するには、そうしたデータソースから適切にデータを抽出し（Extract）、変換し（Transform）、転送する（Load）、いわゆる「ETLツール」が使われます。

しかし容易に想像できるように、さまざまなデータソースを適切に統合するには、ETLツールに対してきめ細かな操作を指定したスクリプトを与える必要があり、それは容易ではなく手間もかかります。

今回プレビューが開始された「Amazon Q data integration in AWS Glue」は、この面倒で手間がかかるETLスクリプトを、自然言語で指定するだけで生成してくれるというものです。

Amazon QがETLスクリプトを自動生成してくれる

Amazon Qで自然言語による指示でETLスクリプトが自動生成される具体的な例を「New chat experience for AWS Glue using natural language – Amazon Q data integration in AWS Glue (Preview)」から引用しましょう。

下記は、「Amazon Redshiftからデータを読み込んでNull値を省略した上で、Amazon S3にParquetファイル形式で書き込む」（Write a Glue ETL job that reads from Redshift, drops null fields, and writes to S3 as parquet files.）という指示をして、ETLスクリプトが生成されたところです。