Meta、200言語を翻訳するAI「NLLB-200」をオープンソース化

今回は「Meta、200言語を翻訳するAI「NLLB-200」をオープンソース化」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 Metaは米国時間7月6日、200種類もの言語翻訳が可能な人工知能(AI)モデル「NLLB-200」をオープンソース化したと発表した。これにより、さまざまな技術とデジタルコンテンツが、今までよりもはるかに広い範囲の人々に開放されることになるとみられる。「No Language Left Behind(NLLB)」というこのモデルは、55のアフリカ系言語を含め、合わせて200種類の言語を高い品質で翻訳できる。

 「英語、標準中国語、スペイン語、アラビア語など、わずか数種類の言語がウェブを独占している」と、同社はブログ記事の中で述べている。「非常に広く使われているこれらの言語を母国語とする人々は、自分の母国語で記述されたものを読むことの重要性を、当たり前と感じているかもしれない。NLLBは、より多くの人々が、感情や文脈に誤りの多い中間言語を必要とすることなく、それぞれが望む言語で文章を読めるように支援する」

 同社は、NLLBを自社製品の改良に利用しているが、このモデルがオープンソース化されることにより、技術者らは、ジャワ語やウズベク語のような言語で適切に動作するAIアシスタントなどのツール構築や、スワヒリ語やオロモ語でのボリウッド映画の字幕作成に利用できるようになる。

 NLLBは、単一の最先端AIモデルが対応できる言語の数を2倍近くにまで増やしている。Metaによると、カンバ語やラオ語など、多くの言語が、既存の翻訳ツールで十分にサポートされていないか、まったくサポートされていないという。広く使用されている翻訳ツールで現在サポートされているアフリカ系言語は、25種類を下回る。

 NLLB-200は翻訳品質についても、これまでのAI研究と比べて平均44%向上している。また、一部のアフリカやインドの言語の翻訳精度は70%以上高かったという。翻訳品質を判定するために、Metaは、自動指標評価と人間による評価の両方を実施した。

 Metaの研究者らはNLLB-200の翻訳品質を高めるため、4万種類の言語の使用法における性能評価を支援するデータセット「FLORES-200」を構築した。

 Metaは、NLLB-200のオープンソース化に加えて、FLORES-200のデータセット、モデルトレーニングコード、トレーニングデータセットを再作成するためのコードを開発者らに提供する。

 また、NLLB-200を効果的に使用し、サステナビリティ(持続可能性)、フードセキュリティ(食料安全保障)、ジェンダーに基づく暴力や教育など、国際連合(UN)の持続可能な開発目標(SDGs)を支持する分野に取り組む研究者や非営利組織に、最大20万ドル(約2700万円)の助成金を提供する。

 Metaはこのモデルが自社製品全体で、毎日250億回を超える翻訳に対応すると期待している。コンテンツの翻訳とより適切な広告の表示に加えて、有害なコンテンツや偽情報の検出にも利用される予定だ。

 MetaのNLLB研究は、ウィキペディア編集者らが使用する翻訳システムにも利用されている。Metaは、ウィキペディアをはじめとする無料の知識プロジェクトを運営する非営利組織Wikimedia Foundationと提携し、ウィキペディアの翻訳システムの改良を支援している。ウィキペディアは、300を超える言語で提供されているが、英語版には600万件を超える記事が掲載されているのに対し、記事数がはるかに少ない言語がほとんどだ。

 編集者らは、Wikimedia Foundationの「Content Translation Tool」を介してNLLB-200の技術を利用し、リソースが少ない20以上の言語で記事を翻訳できる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
日立ソリューションズ、「社内副業管理サービス」の自社検証を開始
IT関連
2024-05-18 20:10
クラウド受付システムRECEPTIONISTがクマヒラの入退室管理SPLATS PASSと連携、受付業務の効率化とセキュリティを両立
IT関連
2022-02-23 09:31
「Linux」ディストリビューションを乗り換える前に確認すべき5つのポイント
IT関連
2024-03-07 15:17
第29回:ひとり情シスはブラック職場なのか?
IT関連
2021-04-22 07:04
経営陣に技術について知ってもらうための6つのヒント
IT関連
2023-10-26 01:30
noteにBASEが出資 「クリエイター支援を強化」
ネットトピック
2021-01-13 01:36
半導体不足、2022年の動向をアナリストはどう予想する?
IT関連
2022-01-19 06:58
富士通と森永乳業、原材料の価格変動などを予測する基盤開発–意思決定の迅速化へ
IT関連
2024-10-31 17:03
利回り4.4%–手作り「好配当利回り株ファンド」レシピ、「ダウの犬」を日本株に応用
IT関連
2021-03-03 18:36
写真で振り返る「SuiteWorld 2023」–会場の様子をお届け
IT関連
2023-10-25 21:50
Datadog、「Data Jobs Monitoring」を一般提供–最適化と信頼性向上が必要なジョブを表示
IT関連
2024-06-23 00:19
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価[PR]
AWS
2024-01-29 16:38
Google I/Oが5月11日、12日に開催、来場者は限定的だが無料ライブストリーミングで視聴可能
IT関連
2022-03-18 04:56
MWCバルセロナ 2021、万全のコロナ対策で6月にハイブリッド開催へ
企業・業界動向
2021-03-10 17:31