オープンソースの生成AIが「GPT-4」に一歩及ばない理由

今回は「オープンソースの生成AIが「GPT-4」に一歩及ばない理由」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成型の人工知能(AI)に関して最も熱く交わされている議論の1つが、オープンソースとクローズドソースの比較だ。結局、どちらの方が価値が上なのか。

 一方では、常に進化を続けるきら星のごときコントリビュータ―たちによって、数多くのオープンソースの大規模言語モデルが作られ続けている。その中でも特に有名なのが、Metaの「Llama 2」だ。一方、クローズドソースの大規模言語モデルの代表例は、商用モデルとして定評がある2つのモデルである、OpenAIの「GPT-4」と、ベンチャーキャピタルの支援を受けているスタートアップAnthropicの言語モデル「Claude 2」だろう。

 これらのモデルをテストして互いに比較する方法の1つに、特定の分野(例えば医療知識)の質問に回答させ、その善し悪しを比べるというやり方がある。

 権威のある医学論文誌を発行しているNew England Jounal of Medicineが創刊した新論文誌「NEJM AI」に最近掲載された、ペパーダイン大学、カリフォルニア大学ロサンゼルス校、カリフォルニア大学リバーサイド校の研究者らが執筆した論文によれば、そのテストで、Llama 2の腎臓学に関する質問に答える能力は残念なものであることが明らかになったという。

 第一著者であるペパーダイン大学Data Science InstituteのSean Wu氏をはじめとする著者らは、「オープンソースのモデルは、GPT-4やClaude 2と比べて総正解数と説明の質の点で劣っていた」と述べている。

 論文には「GPT-4は非常に優れた成績を収め、ほとんどのテーマで人間と同様の成績を収めた」とある。GPT-4は、複数の選択肢から回答を選択する方式の腎臓学に関する問題で、人間の受験者の合格点である75%をわずかに下回る73.3%のスコアを獲得した。

 著者らは「オープンソース大規模言語モデルの大半の総合スコアは、質問にランダムに回答した場合のスコアと変わらなかった」と述べ、5つのオープンソースモデルの中ではLlama 2が最も良い成績を収めたとした(5つの中には「Vicuna」や「Falcon」も含まれている)。しかしそのLlama 2のスコアも30.6%で、ランダムに回答した水準(23.8%)を少し上回っただけだった。

 この研究は、AIの分野で「ゼロショット」と呼ばれている種類のタスクをテストするものだった。ゼロショットとは、正しい回答や間違った回答の例を与えず、修正も行わずに言語モデルを使用することを意味する。ゼロショットのアプローチを用いれば、言語モデルがトレーニングデータの中にはない新たな能力を獲得する能力である「コンテキスト内学習」の能力をテストすることができる。

 このテストでは、Llama 2をはじめとする5つのオープンソースモデルと2つの商用モデルを対象として、「Nephrology Self-Assessment Program(nephSAP)」(米国腎臓学会が出版した医師の自習用教材)から抜粋された腎臓学に関する問題858件に回答させた。

 著者らは、nephSAPのプレーンテキストファイルを言語モデルに入力できるプロンプトに変換するために、かなりの量のデータの準備作業を行う必要があった。それらのプロンプトには、自然言語で記述された問題と回答の選択肢が含まれていた(他の人が検証できるように、実際に使われたデータがHugging Faceで公開されている)。

 さらに、言語モデルは多くの場合、回答として長文のテキストを出力するため、各モデルの回答を読み取って正解と比較し、出力結果を自動的に採点する技術を開発しなくてはならなかったという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
クラウドセキュリティの穴を塞ぐ–一般的な攻撃手法と防衛手段
IT関連
2022-06-18 15:41
半導体ウェハメーカーのSK SiltronがEVサプライチェーン強化へ米国で330億円投資
モビリティ
2021-07-16 21:10
【コラム】イーロン・マスクとテスラには「ティム・クック」が必要、今こそ「大人」が跡を継ぐときだ
IT関連
2022-03-03 12:55
ソフトバンクと日立が協業–生産状況を可視化するサービスの提供目指す
IT関連
2022-10-02 13:39
日立ら、デジタルツインの構築と実証開始–パーソナルモビリティーの自律走行へ
IT関連
2022-08-10 17:04
HPE、「HPE GreenLake for LLM」を発表–「AIパブリッククラウド市場に参入」とネリCEO
IT関連
2023-06-23 00:21
アマゾンの労組結成賛否を問う従業員投票結果を受け米労組会長が「再選挙の可能性が高い」と語る
パブリック / ダイバーシティ
2021-04-11 21:17
欧州VCファンドがESGイニシアチブに関するコミュニティを構築
VC / エンジェル
2021-03-09 09:48
メルペイ、利用者数1000万人突破 サービス開始から2年2カ月で
企業・業界動向
2021-04-23 23:13
MS、「ワードパッド」を非推奨アプリに–今後のWindowsリリースで削除予定
IT関連
2023-09-05 21:55
Oktaが無料のパスワードマネージャ「Okta Personal」を公開
セキュリティ
2023-08-31 17:50
上場間近のCoinbaseが決算発表 売上高は前年同期比9倍の18億ドル
企業・業界動向
2021-04-08 23:04
競争力を高めるにはDevOpsが必要、導入のリスクを下げるには
IT関連
2022-09-08 17:24
水出しならぬ「ミルク出し」コーヒーを簡単に 専用ポット、ハリオが発売
くらテク
2021-05-12 09:59