リコー、モデルマージ技術でGPT-4に匹敵する日本語LLMを開発–プライベートLLM導入を加速

今回は「リコー、モデルマージ技術でGPT-4に匹敵する日本語LLMを開発–プライベートLLM導入を加速」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 リコーは、東京工業大学と産業技術総合研究所が開発した日本語大規模言語モデル(LLM)の「Llama-3-Swallow-70B」をベースに、独自のモデルマージ技術を用いて高性能な日本語LLMを開発した。

 このモデルは、複雑な指示やタスクを含む日本語ベンチマーク「ELYZA-tasks-100」を用いた評価で、GPT-4と同等レベルのスコアを達成した。さらに、ほかのLLMと比較して、全てのタスクに対して日本語で回答し、高い安定性を示しているという。

 Llama-3-Swallow-70Bは、米Meta Platformsによる最新LLM「Meta-Llama-3-70B」の日本語性能を向上させたモデルになる。

 マージしたモデルは、Llama-3-Swallow-70BとMetaの「Chat Vector」、リコー製のChat Vectorの3つ。Chat Vectorは、MetaのInstructモデルからベクトル抽出したもので、指示追従能力に特化している。リコーのChat Vectorは、リコーのInstructモデルから抽出したもので、リコーが独自に開発した約1万6000件のインストラクションチューニング済みのデータで追加学習している。

 リコーは、自社製LLMの開発だけでなく、顧客の用途や環境に合わせて最適なLLMを低コスト・短納期で提供するため、モデルマージ技術をはじめとする多様な手法・技術の研究開発を推進している。同社のモデルマージ技術は、複数のLLMを効率的に組み合わせることで、高性能なLLMを低コスト・短期間で開発できるという。日本語の特性に最適化されたLLMを開発することで、高い精度と安定性を実現しており、企業独自のデータで学習させたプライベートLLMを構築することで、機密性の高い情報も安心して活用できる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
パロアルトネットワークス、「Prisma SASE」で大型の機能拡充を発表
IT関連
2024-06-28 15:14
Facebookの監督委員会がトランプ氏のアカウント停止に対するパブリックコメントを募集
ネットサービス
2021-02-02 03:53
VSCodeでC#開発環境を充実させる「C# Dev Kit」正式リリース、ソリューションエクスプローラーやIntelliCodeなど提供
.NET
2023-10-06 00:09
日産、EV「アリア」限定モデルの試乗体験などをオンライン化 ARモデルやドライブシミュレーションを用意
IT関連
2021-06-05 04:58
NEC社長が通信イベント「MWC」で語った「C&Cが進化した未来」
IT関連
2022-03-12 19:57
放射線防護用メガネ由来のサングラスがテレワークに向いている理由 「5G EGIS」はずり落ちない :分かりにくいけれど面白いモノたち(1/3 ページ)
くらテク
2021-07-31 03:20
京西テクノス、サポートサービスの進行管理に「Salesforce」を導入–作業効率化を大幅に改善
IT関連
2023-08-11 06:25
NTT Comとパナソニック、顔認証を使ったデータ活用ビジネスを開始
IT関連
2021-06-09 10:28
ソニー、αシリーズ初の8K動画対応ミラーレス「α1」発表 約80万円
ライフ
2021-01-28 03:28
Linuxサーバーを「macOS」から監視するには–「ServerCat」を使って簡単に
IT関連
2022-05-27 09:48
ブラジルの新進フィンテックNubankが2.6兆円の評価額で420億円調達
フィンテック
2021-02-01 02:08
SASが戦略強化–「SAS Viya」でAzure、AWS、GCP、OpenShiftをサポート
IT関連
2021-05-26 13:59
オラクル、Cohereと連携で生成AIサービス開発へ–OCIでの提供図る
IT関連
2023-06-17 21:50
ハイブリッド型授業はこれからの教育を変える–オックスフォード大学の取り組み
IT関連
2022-07-09 15:56