日本IBM、独自LLM「Granite日本語版」を提供–日本語の長文を効率的に処理

今回は「日本IBM、独自LLM「Granite日本語版」を提供–日本語の長文を効率的に処理」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 日本IBMは2月27日、日本語性能を向上させたAI基盤モデル「Granite(グラナイト)日本語版モデル」の提供開始を発表した。ビジネスに特化したAI&データプラットフォーム「IBM watsonx」で使用する。

 日本IBM 理事 テクノロジー事業本部 watsonx事業部長の竹田千恵氏は、「モデルライブラリーから日本語特化の大規模言語モデル(LLM)など複数のモデルを選択できるが、顧客のビジネスニーズを担保するチームとして、50カ国以上で600人以上のAIエンジニアを無償で提供している」とAI戦略に注力する姿勢を強調した。

 現在のwatsonxは、AI活用や構築に用いる「watsonx.ai」、自社のデータを一元管理して活用する「watsonx.data」、データとAIのガバナンスを保全する「watsonx.governance」の3つが主軸となる。今回発表したGranite日本語版モデルはwatsonx.aiで使用する日本語用のLLMだ。

 watsonx.aiは基盤モデルライブラリーとして、複数のモデルを使用できる。直近だけでも2023年11月にはMetaの「llama2-13b」、2024年1月にはELYZAが日本語版LLMとして公開した「elyza-japanese-llama-2-7b」、同年2月にはオープンソースの「mixtral-8x7B」を追加。そして今回Granite日本語版モデルとなる「granite-8b-japanese」が加わった。

 IBM独自のLLMとなるGraniteは2023年9月に提供を開始しているが、Granite日本語版モデルは1.6T(1.6兆)の学習データを用意し、英語1000B(1兆)トークン、日本語500B(5000億)トークン、プログラミングコードで100B(1000億)の大型モデルとなる。Graniteと同じくコンテンツ生成や洞察抽出、 固有表現抽出、生成精度を高めるRAG(検索拡張生成)で業務支援を行い、「NVIDIA V100-32GB」でも動作するため、「IBM Cloud」だけでなくオンプレミスでも利用環境を構築できる。

 当然ながら基となる学習データは前処理が欠かせない。日本IBM 技術理事 東京基礎研究所AI Technologies担当シニア・マネージャーの倉田岳人氏は、13.9TBにおよぶ日本語学習データに対して「データのフィルタリングが必要。重複内容やHAP(Hate, Abuse, Profanity)、暴力的な表現などビジネス観点でふさわしくない文章の除去を行う。加えて多様な角度から文章品質を計算して不要なデータを取り除くと1.3TB」まで圧縮している。

 もう一つの特徴が日本語トークナイザーだ。文章を単語や慣用句に分割する処理だが、同社によれば日本語未対応のトークナイザーで処理すると、日本語の文字は語彙に含まれない場合があり、バイト単位に分割されてしまう。だが、同社が開発した日本語対応のトークナイザーであれば単語を1トークンとして扱うため、推論速度を犠牲にせず、扱える文脈も広まるという。

 日本IBMが行ったベンチマークでも、Granite日本語版モデルは、日本語対応のelyza-japanese-llama-2-7bと同等以上の性能を達成し、多様なビジネスシーンでの利用が期待できるとしている。倉田氏は「技術仕様、学習データなどを公開して透明性を担保していく。また、テクノロジー事業本部やコンサルティング部門、顧客担当チームが連携して、Granite日本語版モデルの有効活用を支援する」と述べた。さらに竹田氏は、「日本語に特化したモデルは大きな強み。今後3年間の生成AIがもたらす影響を鑑みれば、右肩上がりの事業成長を予測している」という。

 現在、同社は前述したwatsonxプラットフォームと人材育成ソリューションの「watsonx Orchestrate」、対話型AIの「watsonx Assistant」、生成AIがコードを生成する「watsonx Code Assistant」に代用されるAIアシスタント群を、ITオートメーションやセキュリティ、モダナイゼーション、サステナビリティーに類する製品群へ組み込んでいくとしている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Twitter版Clubhouseの「Spaces」、ブラウザ版からも参加可能に
企業・業界動向
2021-05-29 06:25
東海理化、7000人の給与明細照会を1カ月で電子化
IT関連
2021-01-20 07:22
[速報]マイクロソフト、Armベースのクラウド向け独自プロセッサ「Microsoft Azure Cobalt」発表。高い電力効率を提供。Ignite 2023
ARM
2023-11-16 00:08
NVIDIA CEO、AIにより人間の言葉がプログラミング言語となったことで、プログラミングを学ぶことは重要でなくなった、と発言
NVIDIA
2024-03-12 08:39
「WOVN.io」にワイルドカード翻訳機能–数字を含む文字列の翻訳を円滑に
IT関連
2023-03-02 05:05
スピアフィッシング攻撃の新たなトレンド–バラクーダ、調査結果を公開
IT関連
2022-04-15 09:33
レッドハット新社長が示してみせた「徹底した顧客視点」の意味
IT関連
2023-10-21 07:32
Metaが「Android」アプリの開発言語をJavaからKotlinに移行する理由とは
IT関連
2022-11-08 23:03
顔写真が30秒で似顔絵に AIが自動生成、画風は5種類
イラスト・デザイン
2021-05-27 11:45
Twitter、アカウントを検索から隠すなど4つの新機能を検討
企業・業界動向
2021-07-08 05:15
セキュリティ投資に対する日本の感覚が確実に変化–クラウドストライクの尾羽沢氏
IT関連
2022-06-18 07:33
NFTマーケットのOpenSea、フィッシング攻撃の被害額は約2億円以上
IT関連
2022-02-23 09:06
「Microsoft Authenticator」、プッシュ通知の承認に「数値入力」が利用可能に
IT関連
2022-11-01 13:42
GitLab、「GitLab 16.11」リリース–「GitLab Duo Chat」が一般提供
IT関連
2024-04-21 18:03