「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apach Spark」をデータブリックスが発表

今回は「「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apach Spark」をデータブリックスが発表」についてご紹介します。

関連ワード (発表、移動平均、言語能力等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Apache Sparkなどの開発で知られるデータブリックス社は、同社が主催したイベント「DATA+AI Summit 2023 by Databricks」で、英語をApache Sparkの問い合わせ言語にできるSDK「English SDK for Apach Spark」を発表しました。

英語は新しいプログラミング言語である

Databricks共同創業者兼チーフアーキテクト Reynold Xin氏。

英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラであり、Pythonは新しいバイトコードだ。

fig

これが何を意味するのか。多くの方々がChatGPTを使ってSparkの問い合わせコードを生成したことがあるだろう。

しかしChatGPTはさまざまな言語能力を備えているが故に、大量のアンチパターンなども生成してしまう。

これを改善するには多くのプロンプトエンジニアリングが求められる。そこで、そうした作業を不要にする「English SDK for Apache Spark」を発表する。

fig

Sparkのエキスパートによってプロンプトエンジニアリングが実行され、アンチパターンが最小化されている。

デモを見ていただこう。

英語の指示でデータの集計からグラフ化まで

Sparkでのデータ分析のために、Apache Sparkへのコミュニティからの貢献数をGitHubのプルリクエストデータから取得する。

GitHubのAPIからPythonのコードでデータを取得し、AparkのDataframeとする。

fig

このデータを基に、1日ごとのプルリクエスト数と7日間の移動平均などを求めるために、AggrigationやWindows関数などを使おう。

ただ、詳しい使い方まで覚えていないので公式ドキュメントやStack Overflowなどを検索することになる。

fig

やりたいことは言葉(英語)で言えるのに、それをコードとして記述するのは時間がかかるのだ。

言葉がそのまま実行できればいいのに。そこで「English SDK for Apach Spark」だ。

使い方は簡単。まず、Spark_aiクラスを初期化、有効化。これですべてのDataframeがAIのパワーを得られる。

fig

あとは英語での指示を書き込む。「Add a column ‘date’ derived from ‘created_ai’」(Dateカラムを追加)、「Add a column ‘num_pr_created’ that aggregates the number of created PRs by date.」(日次でプルリクエスト数を合計)、「Add column ‘7_day_avg’ that computes the 7 day moving average of the number of PRs created.」(そして7日間移動平均を追加)。

fig

これで結果が得られた。

fig

これをグラフ化。

fig
fig

このデータに、Sparkのメジャーバージョンアップの時期を重ねるため、バージョン番号が「x.0.0」で示されるメジャーリリースの日付のデータを英語で指示して取得。

fig
fig

2つのグラフを重ねるために「show the 7 day moving average and annotate the spark version with a red line」(7日移動平均と、バージョン毎の赤線を引く)という指示を出す。

fig

すると、目的のグラフが表示された。

fig

COMMENTS


Recommended

TITLE
CATEGORY
DATE
マクアケがクラファン実行者を対象とするファンドを設立、投資1号案件はクラフトチョコレートのMinimal
IT関連
2021-02-05 22:13
ハエはお金になる、ハエを鶏のエサに変え生ゴミも同時に処理するBetter Originがシード3.2億円を調達
フードテック
2021-02-25 20:20
中国、重要情報インフラでのマイクロン製品調達を禁止
IT関連
2023-05-24 13:00
DiscordがClubhouseのような音声イベント用チャンネルの提供を開始
ネットサービス
2021-04-02 05:29
ローコード/ノーコード開発はむしろIT部門のスタッフに大きなメリット
IT関連
2023-08-22 02:04
日立グループと共にグローバルで企業のDXを支援–グローバルロジックのバンガ社長兼CEO
IT関連
2022-10-29 05:45
NSA、TLSプロトコルの更新を連邦機関のシステム管理責任者に勧告–オランダでも
IT関連
2021-01-21 06:26
チェコのベンチャー投資家8人に聞く、景気回復の兆しと2021年の投資見通し
VC / エンジェル
2021-05-10 07:43
MacでWindowsを動かせる「Parallels Desktop」最新版–Touch ID対応など多数の改良
IT関連
2023-08-29 08:21
一大イベント「Windows 10サポート終了」にどう対応すべきか
IT関連
2025-02-26 03:18
クラウドコストの上昇で注目高まる「FinOps」
IT関連
2022-03-31 08:51
長野県とエプソン、AIを活用した畜産振興に向け連携協定を締結
IT関連
2022-11-04 07:49
イメージングの力とDXで社会の持続的成長に貢献–コニカミノルタ・大幸社長兼CEO
IT関連
2023-01-06 02:07
損害保険ジャパン、生成AIの活用で固定資産台帳の転記を自動化
IT関連
2024-04-27 18:18