アマゾン、RAGを実装したAIの性能を比較する新しいベンチマークを提案

今回は「アマゾン、RAGを実装したAIの性能を比較する新しいベンチマークを提案」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 2024年は、企業で生成人工知能(AI)の活用が飛躍的に進む年になると、多くの観測筋が予測している。考えられる可能性の1つが、検索拡張生成(RAG)と呼ばれる手法の採用だ。RAGを利用すると、AIの大規模言語モデル(LLM)を、企業のファイルなど、組織の独自コンテンツが含まれるデータベースに接続できる。

 ただし、RAGはまだ新しい技術で、落とし穴もある。

 そのため、AmazonのAWSの研究者たちは新しい論文の中で、RAGが組織の独自コンテンツに関する質問にどれほど正しく回答できるかをテストする一連のベンチマークの策定を提案している。

 この論文は、ウィーンで現地時間7月21日から27日まで開催されるAIカンファレンス「The Forty-first International Conference on Machine Learning」(第41回機械学習国際会議)で発表される予定だ。

 論文の主執筆者であるGauthier Guinet氏とそのチームは、基本的な問題として、膨大な数のタスクでさまざまなLLMの能力を比較するベンチマークが多数存在するのに対し、特にRAGの分野では、「真実性」や「事実性」など多くの重要な性質に対して、「タスクに特化した包括的な評価」を下す「標準的な」測定手法がない点を挙げている。

 だがGuinet氏らは、自分たちの提案する自動化された手法によって、ある程度の統一性が生まれると考えて、次のように述べている。「われわれのアプローチは、各タスクに関連付けられた文書コーパスに合わせて多肢選択式の試験を自動生成することで、さまざまなRAGシステム間で標準化され、測定と解釈が可能なスコアリングを実現するものだ」

 この取り組みに着手するため、Guinet氏らは4つの組織の資料を利用して、質問と回答のペアを生成した。その資料とは、AWSのDevOpsに関するトラブルシューティングの文書、プレプリント論文投稿サーバーの「arXiv」に投稿された科学論文の要約、Q&Aサイトの「StackExchange」に投稿されていた質問、および上場企業の最高規制機関である米証券取引委員会(SEC)に提出された書類だ。

 次に、各LLMがどれだけ正解に近い回答を生成できるか評価するため、LLM用の多肢選択式テストを考案した。そして、2種類のオープンソースのLLMファミリー(フランス企業Mistral AIの「Mistral」とMetaの「Llama」)を対象に試験を実施した。

 大きな発見の1つは、優れたRAGアルゴリズムを利用すれば、LLMの規模を拡大するといった手法を用いるより、LLMを改善できるということだ。

 生成AIのために必要とされるリソースの急増が懸念される中で、これは重要な発見だ。より少ないリソースでより多くのことができるのなら、研究を続ける価値はある。また、規模の拡大が常に最善とされる現在のAIの常識が、具体的な問題の解決については必ずしも正しくないことを示唆している。

 もう1つ重要なことは、RAGアルゴリズムが正しく機能しない場合には、RAGが実装されておらず、クローズドでシンプルなLLMと比べて、LLMの性能が低下する可能性が明らかになったことだ。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Serimmuneが新型コロナ向けに新しい免疫反応マッピングサービスを開始
バイオテック
2021-03-15 22:11
auじぶん銀行、コンタクトセンターに生成要約サービスを導入–VOC分析の高度化に
IT関連
2024-02-24 08:46
Notion、「Notionプロジェクト」を提供–分かりやすいプロジェクト管理を可能に
IT関連
2023-06-02 21:09
「成長事業をさらに伸ばすために分社してはどうか」と富士通 時田社長に聞いてみた
IT関連
2021-05-06 14:20
Tileがアップルの新しいAirTagを不正競争だと非難
ハードウェア
2021-04-22 06:53
AOSデータ、建設データプラットフォーム「IDX.jp」を提供–建設計画書を一元管理
IT関連
2024-08-16 05:53
Cohesity Japan、バックアップとデータ隔離/復旧をSaaSで提供
IT関連
2023-01-28 22:40
フェイスブックが音声SNS「Live Audio Rooms」とポッドキャスト向け新サービスの提供を米国で開始
ネットサービス
2021-06-30 21:40
VR演劇「僕はまだ死んでない」 演劇とは何かに挑んだ意欲作
IT関連
2021-03-13 01:07
輸送用機器製造のIJTT、鋳造ホストシステムを脱メインフレーム化
IT関連
2023-10-19 18:30
クラウド戦略の成功を示すのはセキュリティ–HashiCorpセキュリティ担当幹部に聞く
IT関連
2023-03-03 22:15
NTT西日本とNTTスマートコネクト、自治体・企業向けテキスト生成AIサービスを提供
IT関連
2023-08-24 03:17
みずほのQR決済「J-Coin Pay」セブン-イレブンで利用可能に
企業・業界動向
2021-07-17 12:11
Netflix、ゲーム分野への進出を明らかに Netflix会員なら追加料金なしでプレイ
IT関連
2021-07-22 10:25