Allganize、日本語RAGの性能評価「Allganize RAG Leaderboard」を公開

今回は「Allganize、日本語RAGの性能評価「Allganize RAG Leaderboard」を公開」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成AI・大規模言語モデル(LLM)ソリューションを提供するAllganize Japanは、日本語RAGの性能を評価したLeaderboard(性能表)「Allganize RAG Leaderboard」を公開した。このLeaderboardは、AIに特化したプラットフォームである「Hugging Face」で閲覧できる。

 検索拡張生成(RAG)は、社内ドキュメントや特定情報から信頼できるデータを検索・抽出し、そのデータに基づいてLLMに回答させる技術。企業の内部情報や特定情報を生成AI・LLMで活用する際に重要となる技術であり、業務効率化や生産性向上に貢献するが、RAGの実装方法によって回答精度が大きく変わるため課題となっている。

 Allganize RAG Leaderboardは、主要なRAGソリューションの日本語性能を客観的な手法で評価した性能表。特に、日本企業が扱うドキュメントは図表などを多数含む複雑な文書が多く、業種ドメインごとにドキュメント形態や内容も異なるため、回答の難易度が高い傾向にあるという。

 Leaderboardでは、RAGソリューションの「Parser」「Retriever」「Generation」という3つの機能要素を評価している。Parserは、文書から文字・図・表などを抽出し、読みやすいフォーマットに変更する。Retrieverは、企業が保有する膨大なデータの中から、ユーザーの質問の回答となる情報を抽出する。Generationは、Retrieverで抽出した情報と学習データに基づいてLLMが回答を生成する。

 また業種によってドキュメントの傾向が異なるため、「金融」「情報通信」「製造」「公共」「流通・小売」という5つの業種ドメインのドキュメントに対して、RAGの性能を評価している。各ドメインに12〜14のドキュメントを用意し、ドメインごとに60個の質問を行った。さらに実際の業務で利用するドキュメントと同様、図表を含むドキュメントを使用して評価したという。

 さらに、あらかじめ質問に対する正解回答を用意し、質問に対してRAGソリューションで生成した回答について、4つのLLM Eval(測定ツール)を用いて評価した。

 なお、今回評価対象としたRAGソリューションは、Allganizeの提供するRAGソリューション「Alli」のほか、「LangChain」「OpenAI Assistant」「Cohere」で、今後も評価対象を追加予定だという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Cygamesが「ウマ娘」「グラブル」背景イラストの展示会 VR展示は無料
イラスト・デザイン
2021-07-03 09:46
ニュータニックス、DataRobot、日立システムズが連携–オンプレ生成AIソリューションの実現へ
IT関連
2024-10-13 02:48
「小売業こそリターンが見えるAI投資を」–日本MS・津坂社長が提言
IT関連
2024-02-23 10:06
競泳・池江璃花子は体調管理にWeb会議ツール活用 五輪まであと3カ月
IT関連
2021-04-15 19:41
ビッグローブ、オンプレミスのOracle DatabaseからAmazon RDS for Oracleへ移行
IT関連
2023-11-22 12:10
ゲッティの「iStock AI生成ツール」を試す–面白みは「DALL・E」に軍配
IT関連
2024-01-18 15:14
日立、災害状況をAIで把握する映像解析の基礎技術を開発
IT関連
2021-02-25 20:15
ランサムウェアで考えてほしいデータセキュリティの重要性–RubrikのシンハCEO
IT関連
2022-05-25 14:02
ビットキーが手がけるスマートロックとhomehubをレオパレス21が採用、2022年6月より44万戸に設置
IT関連
2022-01-26 18:17
Apple、WindowsユーザーのためのChrome拡張機能「iCloudパスワード」公開
アプリ・Web
2021-02-02 03:50
宮城県庁、トラストバンクの「LoGoチャット」で県内市町村と連携
IT関連
2024-11-23 02:04
「Microsoft 365」の管理者向けにWeb会議詰め込み防止機能
アプリ・Web
2021-04-23 11:48
AIで生成したプログラムの使用が招くリスク–考えられる法的責任
IT関連
2023-06-29 13:13
「バクラクビジネスカード」、予算超過時にメール通知する機能を追加
IT関連
2022-10-20 00:33