アマゾン、RAGを実装したAIの性能を比較する新しいベンチマークを提案

今回は「アマゾン、RAGを実装したAIの性能を比較する新しいベンチマークを提案」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 2024年は、企業で生成人工知能(AI)の活用が飛躍的に進む年になると、多くの観測筋が予測している。考えられる可能性の1つが、検索拡張生成(RAG)と呼ばれる手法の採用だ。RAGを利用すると、AIの大規模言語モデル(LLM)を、企業のファイルなど、組織の独自コンテンツが含まれるデータベースに接続できる。

 ただし、RAGはまだ新しい技術で、落とし穴もある。

 そのため、AmazonのAWSの研究者たちは新しい論文の中で、RAGが組織の独自コンテンツに関する質問にどれほど正しく回答できるかをテストする一連のベンチマークの策定を提案している。

 この論文は、ウィーンで現地時間7月21日から27日まで開催されるAIカンファレンス「The Forty-first International Conference on Machine Learning」(第41回機械学習国際会議)で発表される予定だ。

 論文の主執筆者であるGauthier Guinet氏とそのチームは、基本的な問題として、膨大な数のタスクでさまざまなLLMの能力を比較するベンチマークが多数存在するのに対し、特にRAGの分野では、「真実性」や「事実性」など多くの重要な性質に対して、「タスクに特化した包括的な評価」を下す「標準的な」測定手法がない点を挙げている。

 だがGuinet氏らは、自分たちの提案する自動化された手法によって、ある程度の統一性が生まれると考えて、次のように述べている。「われわれのアプローチは、各タスクに関連付けられた文書コーパスに合わせて多肢選択式の試験を自動生成することで、さまざまなRAGシステム間で標準化され、測定と解釈が可能なスコアリングを実現するものだ」

 この取り組みに着手するため、Guinet氏らは4つの組織の資料を利用して、質問と回答のペアを生成した。その資料とは、AWSのDevOpsに関するトラブルシューティングの文書、プレプリント論文投稿サーバーの「arXiv」に投稿された科学論文の要約、Q&Aサイトの「StackExchange」に投稿されていた質問、および上場企業の最高規制機関である米証券取引委員会(SEC)に提出された書類だ。

 次に、各LLMがどれだけ正解に近い回答を生成できるか評価するため、LLM用の多肢選択式テストを考案した。そして、2種類のオープンソースのLLMファミリー(フランス企業Mistral AIの「Mistral」とMetaの「Llama」)を対象に試験を実施した。

 大きな発見の1つは、優れたRAGアルゴリズムを利用すれば、LLMの規模を拡大するといった手法を用いるより、LLMを改善できるということだ。

 生成AIのために必要とされるリソースの急増が懸念される中で、これは重要な発見だ。より少ないリソースでより多くのことができるのなら、研究を続ける価値はある。また、規模の拡大が常に最善とされる現在のAIの常識が、具体的な問題の解決については必ずしも正しくないことを示唆している。

 もう1つ重要なことは、RAGアルゴリズムが正しく機能しない場合には、RAGが実装されておらず、クローズドでシンプルなLLMと比べて、LLMの性能が低下する可能性が明らかになったことだ。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
バイバイCortana、IE11 Windows 11で消える機能まとめ
企業・業界動向
2021-06-26 23:27
倉庫のフォークリフトをロボットで自動化するVecnaが74.5億円調達
IT関連
2022-01-28 18:00
夷隅小学校、教職員の働き方改革の一環として「LINE WORKS」を導入
IT関連
2023-08-05 06:51
福井県坂井市の高校生、地元の観光施策を「Minecraft」で再現–アクセンチュアら推進
IT関連
2024-04-05 19:46
中国で広がるペットの鼻紋活用–保護した犬猫を照会を容易に
IT関連
2022-11-05 14:47
AI時代に必要とされる「データが行動を促す」ための新しいアプローチ
IT関連
2021-06-03 12:41
BPM実践ガイド:段階的モデリングで推進する業務改革
IT関連
2024-09-14 16:33
次期iPad Pro 12.9-inch (5th generation) はミニLEDバックライト付きの可能性
IT関連
2021-03-19 14:10
米下院の委員会は暴力的な陰謀論を推進した議員を除名処分に
その他
2021-02-07 14:45
アマゾン、「Fire TV Cube」を企業向けのシンクライアントに
IT関連
2023-11-29 23:31
Twitter初のサブスクサービス「Twitter Blue」始動 まずは豪と加で
アプリ・Web
2021-06-05 00:18
グーグルの「Bard」を試す–今のところ「ChatGPT」の方が優秀か
IT関連
2023-03-30 12:38
JASRAC「ブロックチェーンで楽曲管理」実用化へ 自宅で曲作る”DIY作家”向け
ネットトピック
2021-05-26 18:17
マネーフォワード、「クラウド会計」とオンラインの売掛債権買い取りと連携
IT関連
2023-03-07 15:44