リコー、モデルマージ技術でGPT-4に匹敵する日本語LLMを開発–プライベートLLM導入を加速

今回は「リコー、モデルマージ技術でGPT-4に匹敵する日本語LLMを開発–プライベートLLM導入を加速」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 リコーは、東京工業大学と産業技術総合研究所が開発した日本語大規模言語モデル(LLM)の「Llama-3-Swallow-70B」をベースに、独自のモデルマージ技術を用いて高性能な日本語LLMを開発した。

 このモデルは、複雑な指示やタスクを含む日本語ベンチマーク「ELYZA-tasks-100」を用いた評価で、GPT-4と同等レベルのスコアを達成した。さらに、ほかのLLMと比較して、全てのタスクに対して日本語で回答し、高い安定性を示しているという。

 Llama-3-Swallow-70Bは、米Meta Platformsによる最新LLM「Meta-Llama-3-70B」の日本語性能を向上させたモデルになる。

 マージしたモデルは、Llama-3-Swallow-70BとMetaの「Chat Vector」、リコー製のChat Vectorの3つ。Chat Vectorは、MetaのInstructモデルからベクトル抽出したもので、指示追従能力に特化している。リコーのChat Vectorは、リコーのInstructモデルから抽出したもので、リコーが独自に開発した約1万6000件のインストラクションチューニング済みのデータで追加学習している。

 リコーは、自社製LLMの開発だけでなく、顧客の用途や環境に合わせて最適なLLMを低コスト・短納期で提供するため、モデルマージ技術をはじめとする多様な手法・技術の研究開発を推進している。同社のモデルマージ技術は、複数のLLMを効率的に組み合わせることで、高性能なLLMを低コスト・短期間で開発できるという。日本語の特性に最適化されたLLMを開発することで、高い精度と安定性を実現しており、企業独自のデータで学習させたプライベートLLMを構築することで、機密性の高い情報も安心して活用できる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
日本電波工業、「RISE with SAP」を採用
IT関連
2022-11-25 18:57
「Xbox ワイヤレスヘッドセット」1万978円で発売
製品動向
2021-03-17 04:39
日本のデジタル人材は追加で2950万人が必要–AWS調査
IT関連
2021-02-27 19:29
建設・建築業の半数以上が人材問題に直面–手形や現金の取引根強く、効率化が急務
IT関連
2023-06-17 23:07
Web版Twitterで不具合か ツイート一覧やリストが表示されず 「再読み込みしてください」【解決済み】
社会とIT
2021-07-02 12:59
画質を追求したミニマムカメラ、シグマ「fp L」 便利で遊べる新機能も :荻窪圭のデジカメレビュープラス(1/6 ページ)
くらテク
2021-05-04 12:58
ランサムウェア攻撃による被害件数は氷山の一角–ENISAが警告
IT関連
2022-08-09 21:44
レッドハットの新たな製品戦略–AIを軸にシステム管理者の負担軽減
IT関連
2024-05-25 23:02
女性向けソーシャルネットワーキングアプリPeanutがライブ音声ルームを追加
ネットサービス
2021-05-04 21:27
サッポロビール新商品、ラベル誤表記で発売延期 「×LAGAR」「○LAGER」
くらテク
2021-01-13 23:37
データ保護のクラウド活用では日本が世界をリード–ヴィーム調査
IT関連
2022-02-26 06:10
生成AI、世界経済に年間620兆円の価値をもたらす可能性–マッキンゼー最新報告
IT関連
2023-07-12 14:44
第33回:「シニアひとり情シス」候補も売り手市場
IT関連
2021-05-13 06:35
日本初の女性に特化したメンタリティ教育・キャリアスクールを手がけるLiLiが総額1億円のプレシリーズA調達
ネットサービス
2021-07-28 00:59