オープンソースの生成AIが「GPT-4」に一歩及ばない理由

今回は「オープンソースの生成AIが「GPT-4」に一歩及ばない理由」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成型の人工知能(AI)に関して最も熱く交わされている議論の1つが、オープンソースとクローズドソースの比較だ。結局、どちらの方が価値が上なのか。

 一方では、常に進化を続けるきら星のごときコントリビュータ―たちによって、数多くのオープンソースの大規模言語モデルが作られ続けている。その中でも特に有名なのが、Metaの「Llama 2」だ。一方、クローズドソースの大規模言語モデルの代表例は、商用モデルとして定評がある2つのモデルである、OpenAIの「GPT-4」と、ベンチャーキャピタルの支援を受けているスタートアップAnthropicの言語モデル「Claude 2」だろう。

 これらのモデルをテストして互いに比較する方法の1つに、特定の分野(例えば医療知識)の質問に回答させ、その善し悪しを比べるというやり方がある。

 権威のある医学論文誌を発行しているNew England Jounal of Medicineが創刊した新論文誌「NEJM AI」に最近掲載された、ペパーダイン大学、カリフォルニア大学ロサンゼルス校、カリフォルニア大学リバーサイド校の研究者らが執筆した論文によれば、そのテストで、Llama 2の腎臓学に関する質問に答える能力は残念なものであることが明らかになったという。

 第一著者であるペパーダイン大学Data Science InstituteのSean Wu氏をはじめとする著者らは、「オープンソースのモデルは、GPT-4やClaude 2と比べて総正解数と説明の質の点で劣っていた」と述べている。

 論文には「GPT-4は非常に優れた成績を収め、ほとんどのテーマで人間と同様の成績を収めた」とある。GPT-4は、複数の選択肢から回答を選択する方式の腎臓学に関する問題で、人間の受験者の合格点である75%をわずかに下回る73.3%のスコアを獲得した。

 著者らは「オープンソース大規模言語モデルの大半の総合スコアは、質問にランダムに回答した場合のスコアと変わらなかった」と述べ、5つのオープンソースモデルの中ではLlama 2が最も良い成績を収めたとした(5つの中には「Vicuna」や「Falcon」も含まれている)。しかしそのLlama 2のスコアも30.6%で、ランダムに回答した水準(23.8%)を少し上回っただけだった。

 この研究は、AIの分野で「ゼロショット」と呼ばれている種類のタスクをテストするものだった。ゼロショットとは、正しい回答や間違った回答の例を与えず、修正も行わずに言語モデルを使用することを意味する。ゼロショットのアプローチを用いれば、言語モデルがトレーニングデータの中にはない新たな能力を獲得する能力である「コンテキスト内学習」の能力をテストすることができる。

 このテストでは、Llama 2をはじめとする5つのオープンソースモデルと2つの商用モデルを対象として、「Nephrology Self-Assessment Program(nephSAP)」(米国腎臓学会が出版した医師の自習用教材)から抜粋された腎臓学に関する問題858件に回答させた。

 著者らは、nephSAPのプレーンテキストファイルを言語モデルに入力できるプロンプトに変換するために、かなりの量のデータの準備作業を行う必要があった。それらのプロンプトには、自然言語で記述された問題と回答の選択肢が含まれていた(他の人が検証できるように、実際に使われたデータがHugging Faceで公開されている)。

 さらに、言語モデルは多くの場合、回答として長文のテキストを出力するため、各モデルの回答を読み取って正解と比較し、出力結果を自動的に採点する技術を開発しなくてはならなかったという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
キャディ、AIを活用した製造業向け見積もりクラウドサービスを開始
IT関連
2024-09-19 08:21
ジザイエ、タワークレーンの遠隔操作に「IOWN API」を利用–建設業界の労働環境改革に
IT関連
2024-01-20 05:33
「Android」「iOS」を狙う新種のスパイウェア「Hermit」–グーグルが警告
IT関連
2022-06-28 22:27
朝日生命保険、メンタルヘルスケアサービス導入–表情や声も含めて状態チェック
IT関連
2023-06-28 09:15
リアルタイムに人材データを把握–データドリブンなタレントマネジメントを支援
IT関連
2021-02-04 11:44
VRで宇宙飛行士のメンタルケア–国際宇宙ステーションで体感する自然と街並み
IT関連
2025-02-08 00:51
アカマイ、多要素認証機能のクラウドサービスを開始
IT関連
2021-05-20 20:23
生成AI時代に向けたCOBOL資産の展開とは–マイクロフォーカスのマクギルCTO
IT関連
2023-11-23 09:30
Google、オープンソースのモジュール依存関係を分かりやすくグラフ化してくれる「Open Source Insights Project」公開
Google
2021-06-08 15:14
日立、財務部門のDXを推進–出納業務の帳票の読み取り・照合を自動化
IT関連
2021-03-11 06:50
「フォントの日」で驚かされた、草を生やすカラーフォントと日本語バリアブルフォント (1/6 ページ)
イラスト・デザイン
2021-04-14 00:49
JPX総研、日立と共同で「カーボン・クレジット市場システム」を開発
IT関連
2022-10-06 23:45
JavaScriptランタイム「Bun 1.0」正式リリース。Windows版もまもなく登場へ
Bun
2023-09-11 07:19
「IBM PC」を起点に考える「IT産業の変遷とこれから」
IT関連
2022-08-19 08:13