オープンソースの生成AIが「GPT-4」に一歩及ばない理由

今回は「オープンソースの生成AIが「GPT-4」に一歩及ばない理由」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成型の人工知能(AI)に関して最も熱く交わされている議論の1つが、オープンソースとクローズドソースの比較だ。結局、どちらの方が価値が上なのか。

 一方では、常に進化を続けるきら星のごときコントリビュータ―たちによって、数多くのオープンソースの大規模言語モデルが作られ続けている。その中でも特に有名なのが、Metaの「Llama 2」だ。一方、クローズドソースの大規模言語モデルの代表例は、商用モデルとして定評がある2つのモデルである、OpenAIの「GPT-4」と、ベンチャーキャピタルの支援を受けているスタートアップAnthropicの言語モデル「Claude 2」だろう。

 これらのモデルをテストして互いに比較する方法の1つに、特定の分野(例えば医療知識)の質問に回答させ、その善し悪しを比べるというやり方がある。

 権威のある医学論文誌を発行しているNew England Jounal of Medicineが創刊した新論文誌「NEJM AI」に最近掲載された、ペパーダイン大学、カリフォルニア大学ロサンゼルス校、カリフォルニア大学リバーサイド校の研究者らが執筆した論文によれば、そのテストで、Llama 2の腎臓学に関する質問に答える能力は残念なものであることが明らかになったという。

 第一著者であるペパーダイン大学Data Science InstituteのSean Wu氏をはじめとする著者らは、「オープンソースのモデルは、GPT-4やClaude 2と比べて総正解数と説明の質の点で劣っていた」と述べている。

 論文には「GPT-4は非常に優れた成績を収め、ほとんどのテーマで人間と同様の成績を収めた」とある。GPT-4は、複数の選択肢から回答を選択する方式の腎臓学に関する問題で、人間の受験者の合格点である75%をわずかに下回る73.3%のスコアを獲得した。

 著者らは「オープンソース大規模言語モデルの大半の総合スコアは、質問にランダムに回答した場合のスコアと変わらなかった」と述べ、5つのオープンソースモデルの中ではLlama 2が最も良い成績を収めたとした(5つの中には「Vicuna」や「Falcon」も含まれている)。しかしそのLlama 2のスコアも30.6%で、ランダムに回答した水準(23.8%)を少し上回っただけだった。

 この研究は、AIの分野で「ゼロショット」と呼ばれている種類のタスクをテストするものだった。ゼロショットとは、正しい回答や間違った回答の例を与えず、修正も行わずに言語モデルを使用することを意味する。ゼロショットのアプローチを用いれば、言語モデルがトレーニングデータの中にはない新たな能力を獲得する能力である「コンテキスト内学習」の能力をテストすることができる。

 このテストでは、Llama 2をはじめとする5つのオープンソースモデルと2つの商用モデルを対象として、「Nephrology Self-Assessment Program(nephSAP)」(米国腎臓学会が出版した医師の自習用教材)から抜粋された腎臓学に関する問題858件に回答させた。

 著者らは、nephSAPのプレーンテキストファイルを言語モデルに入力できるプロンプトに変換するために、かなりの量のデータの準備作業を行う必要があった。それらのプロンプトには、自然言語で記述された問題と回答の選択肢が含まれていた(他の人が検証できるように、実際に使われたデータがHugging Faceで公開されている)。

 さらに、言語モデルは多くの場合、回答として長文のテキストを出力するため、各モデルの回答を読み取って正解と比較し、出力結果を自動的に採点する技術を開発しなくてはならなかったという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
佐野学園、人事総務の業務改革で申請処理を大幅削減
IT関連
2021-06-03 12:33
滋賀銀行と日立製作所、脱炭素経営に向けた新サービスを開始
IT関連
2022-12-14 09:04
AIで“出版流通改革” 集英社、講談社、小学館が丸紅と新会社
ロボット・AI
2021-05-15 02:14
ZOZO、ディープフェイクで“バーチャル試着”実現へ
ロボット・AI
2021-02-10 10:03
BSテレ東、2月22日は“猫まみれ”に 「BSキャッ東」に改名、社長も猫
くらテク
2021-02-07 23:18
内田洋行、オリンパスの本社移転に向けてオフィス利用状況を可視化
IT関連
2024-01-20 14:31
事業のさらなる拡大とイノベーションの創出を目指す–クリエーションライン・安田社長
IT関連
2024-01-11 09:06
大分三愛メディカルセンター、医療情報インフラを最適化–設置スペースは4分の1に
IT関連
2023-02-15 04:58
NEC幹部が語った「スーパーシティーの取り組みで最も大事な考え方」とは
IT関連
2021-07-21 21:26
中国大手ネット企業出身の外注社員と、その理不尽すぎる境遇とは
IT関連
2024-08-08 08:11
WebAssembly版SQLiteがWASI対応に。VMware Wasm Labsチームが明らかに
RDB
2023-05-30 04:46
悪夢のようなビデオ会議の日程調整を評価額約3165億円のスタートアップCalendlyに変えた方法
ネットサービス
2021-02-16 06:37
IBMのオープンソース日本語フォント「IBM Plex Sans JP」の実力をデザイナーが検証してみた :デジタルネイティブのためのフォントとデザイン(1/4 ページ)
イラスト・デザイン
2021-07-31 16:24
「Outlook.com」、障害から復旧–原因は「最近の変更」
IT関連
2023-02-09 03:04