マイクロソフトがZ-Codeを使ってAI翻訳サービスを改善
今回は「マイクロソフトがZ-Codeを使ってAI翻訳サービスを改善」についてご紹介します。
関連ワード （有効、複数言語、視覚等） についても参考にしながら、ぜひ本記事について議論していってくださいね。
本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。
Microsoft（マイクロソフト）は米国時間3月22日、同社の翻訳サービスを改訂したことを発表した。新しい機械学習技法によって、多数の言語間における翻訳が著しく改善されるという。「spare Mixture of Expert（Mixture of Expertを出し惜しみする）」アプローチを使用するという同社のProject Z-Code（プロジェクト・ズィー・コード）を基盤とする新モデルは、盲検法評価で同社の以前のモデルより3～15％高いスコアを記録した。Z-CodeはMicrosoftのXYZ-Codeイニシアチブの一環で、複数の言語を横断してテキスト、視覚、音声を組み合わせることによって、これまで以上に強力で有効なAIシステムを作る。
「Mixture of Experts」はまったく新しい技法というわけではないが、翻訳の場面では特に有効だ。システムはまず、タスクを複数のサブタスクに分割し、それぞれを「expert（エキスパート）」と呼ばれるより小さい特化したモデルに委譲する。次に、どのタスクをどのexpertに委譲するかを、独自の予測に基づいてモデルが決定する。ごく簡単にいうなら、Mixture of Expertsは複数のより特化されたモデルを内包するモデルと考えることができる。
画像クレジット：Microsoft
「Z-Codeを使うことで、驚くほどの進展が見られました。それは、単一言語と複数言語のデータに対して転移学習（transfer learning）とマルチタスク学習の両方を使って最先端の言語モデルを作ることができたからです。これで品質と性能と効率性の最善の組み合わせを顧客に届けることができます」とMicrosoftのテクニカルフェロー兼Azure（アジュール）AI最高技術責任者のXuedong Huang（シュードゥン・ホァン）氏はいう。
この結果、例えば、10種類の言語間で直接翻訳することが可能になり、複数のシステムを使う必要がなくなる。すでにMicrosoftは固有表現抽出、文章要約、カスタム文章分類、キーワード抽出など、同社AIシステムの他の機能の改善にZ-Codeモデルを使い始めている。しかし、翻訳サービスにこのアプローチを利用したのはこれが初めてだ。
翻訳モデルは伝統的に著しく巨大で、製品環境に持ち込むことは困難だった。しかしMicrosoftのチームはsparse（スパース）アプローチを採用し、タスクごとにシステム全体を動かす代わりに、少数のモデルパラメータのみを起動する方法を選んだ。「これによって大幅にコスト効率よく実行できるようになります。家の暖房を1日中全開されるのではなく、必要な部屋を必要な時だけ暖めるほうが安くて効率がよいのと同じことです」とチームがこの日の発表で説明した。
画像クレジット：Keystone/Getty Images / Getty Images
【原文】
Microsoft today announced an update to its translation services that, thanks to new machine learning techniques, promises significantly improved translations between a large number of language pairs. Based on its Project Z-Code, which uses a “spare Mixture of Experts” approach, these new models now often score between 3% and 15% better than the company’s previous models during blind evaluations. Z-Code is part of Microsoft’s wider XYZ-Code initiative that looks at combining models for text, vision and audio across multiple languages to create more powerful and helpful AI systems.
“Mixture of Experts” isn’t a completely new technique, but it’s especially useful in the context of translation. At its core, the system basically breaks down tasks into multiple subtasks and then delegates them to smaller, more specialized models called “experts.” The model then decides which task to delegate to which expert, based on its own predictions. Greatly simplified, you can think of it as a model that includes multiple more specialized models.
A new class of Z-Code Mixture of Experts models are powering performance improvements in Translator, a Microsoft Azure Cognitive Service. Image Credits: Microsoft
“With Z-Code we are really making amazing progress because we are leveraging both transfer learning and multitask learning from monolingual and multilingual data to create a state-of-the-art language model that we believe has the best combination of quality, performance and efficiency that we can provide to our customers,” said Xuedong Huang, Microsoft technical fellow and Azure AI chief technology officer.
The result of this is a new system that can now, for example, directly translate between 10 languages, which eliminates the need for multiple systems. Microsoft also recently started using Z-Code models to improve other features of its AI systems, including for entity recognition, text summarization, custom text classification and keyphrase extraction. This is the first time it has used this approach for a translation service, though.
Traditionally, translation models are extremely large, making it hard to bring them into a production environment. The Microsoft team has opted for a “sparse” approach, though, which only activates a small number of model paramters per task instead of the whole system. “That makes them much more cost-efficient to run, in the same way that it’s cheaper and more efficient to only heat your house in winter during the times of day that you need it and in the spaces that you regularly use, rather than keeping a furnace running full blast all the time,” the team explains in today’s announcement.
（文：Frederic Lardinois、翻訳：Nob Takahashi / facebook ）