リコー、モデルマージ技術でGPT-4に匹敵する日本語LLMを開発–プライベートLLM導入を加速

今回は「リコー、モデルマージ技術でGPT-4に匹敵する日本語LLMを開発–プライベートLLM導入を加速」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 リコーは、東京工業大学と産業技術総合研究所が開発した日本語大規模言語モデル(LLM)の「Llama-3-Swallow-70B」をベースに、独自のモデルマージ技術を用いて高性能な日本語LLMを開発した。

 このモデルは、複雑な指示やタスクを含む日本語ベンチマーク「ELYZA-tasks-100」を用いた評価で、GPT-4と同等レベルのスコアを達成した。さらに、ほかのLLMと比較して、全てのタスクに対して日本語で回答し、高い安定性を示しているという。

 Llama-3-Swallow-70Bは、米Meta Platformsによる最新LLM「Meta-Llama-3-70B」の日本語性能を向上させたモデルになる。

 マージしたモデルは、Llama-3-Swallow-70BとMetaの「Chat Vector」、リコー製のChat Vectorの3つ。Chat Vectorは、MetaのInstructモデルからベクトル抽出したもので、指示追従能力に特化している。リコーのChat Vectorは、リコーのInstructモデルから抽出したもので、リコーが独自に開発した約1万6000件のインストラクションチューニング済みのデータで追加学習している。

 リコーは、自社製LLMの開発だけでなく、顧客の用途や環境に合わせて最適なLLMを低コスト・短納期で提供するため、モデルマージ技術をはじめとする多様な手法・技術の研究開発を推進している。同社のモデルマージ技術は、複数のLLMを効率的に組み合わせることで、高性能なLLMを低コスト・短期間で開発できるという。日本語の特性に最適化されたLLMを開発することで、高い精度と安定性を実現しており、企業独自のデータで学習させたプライベートLLMを構築することで、機密性の高い情報も安心して活用できる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
写真を「アニメの背景」に変換するAI 30秒で“水彩風”など4種類の背景を生成
ロボット・AI
2021-07-30 08:35
さいたま市、基幹業務システムの統合基盤をNutanixに移行
IT関連
2024-07-13 18:24
宇宙で気候変動に強いワイン用ブドウの木を育てるSpace Cargo Unlimited
宇宙
2021-02-06 18:49
NEC、建設業許可を自主廃業–欠格要件に該当で対処
IT関連
2022-10-01 11:41
マイクロソフト、ハイブリッドワークを推進する日本独自策を開始
IT関連
2022-02-05 16:52
光電変換効率が高い有機薄膜太陽電池の発電の仕組みは「下り坂」だった―京都大学が発電機構を解明
IT関連
2022-03-02 01:48
AIの未来はソフトウェアにかかっている–GraphcoreのCEOが語るAI市場のこれから
IT関連
2022-06-23 23:42
エレコムのルーターに脆弱性、利用停止を呼び掛け 「OSコマンドインジェクション」 を受ける可能性
製品動向
2021-07-07 04:24
F5、新たなクラウド基盤「F5 Distributed Cloud Services」を発表–社名変更にも言及
IT関連
2022-02-19 19:14
「R2-D2」が「たまごっち」に 
くらテク
2021-08-05 13:22
リコー、IBMおよびキンドリルとシステムアウトソーシング契約を更改
IT関連
2022-07-07 07:29
セキュリティ業界で働く女性、多様性などを重視、男性との給与格差も–ISC2調査
IT関連
2024-05-02 06:04
WebAssembly/WASIに対応した「Ruby 3.2 Preview 1」公開。WebブラウザでRubyが動く世界がやってくる
Ruby
2022-04-13 20:57
Redis、クラウドベンダなどによる商用サービスを制限するライセンス変更を発表。今後はRedis社とのライセンス契約が必須に
NoSQL
2024-03-22 14:38