Metaのチーフサイエンティストが語る、機械学習の最前線（前編）

今回は「Metaのチーフサイエンティストが語る、機械学習の最前線（前編）」についてご紹介します。

関連ワード （ビッグデータ等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　Yann LeCun氏はベル研究所に在籍していた30年前、画像認識などのタスクを解決する上で極めて有望だと考えられる「畳み込み神経回路網」（CNN）という機械学習（ML）アプローチを確立した。そしてCNNは今や、人工知能（AI）分野のディープラーニング（DL）を支える主力テクノロジーと認識されるまでになり、同氏は2019年にコンピューティング分野のノーベル賞に相当する「ACM A. M. チューリング賞」（ACM A. M. Turing Award）を受賞した。

　ニューヨーク大学の教授であり、MetaのチーフサイエンティストでもあるLeCun氏は、3月21日の週に米ZDNetが実施したインタビューにおいて、最近はこの30年間で最もエキサイティングな日々と送っていると語った。同氏はその理由として、新たな発見によって、CNNのようなAI分野の実用性を向上させる可能性のある長きにわたる議論が活性化されている点を挙げている。

　LeCun氏が現在取り組んでいる最先端分野は、エネルギーベースモデル（EBM）と呼ばれているものだ。ここでの確率関数は、「確率変数、あるいは確率変数群が各状態に与える影響を描写するもの」（参照：「Deep Learning」Ian Goodfellow、Yoshua Bengio、Aaron Courville著–2016年）であり、EBMは2つの変数間の調和を単純化するものとなる。統計物理学のコンセプトを用いているEBMでは、2つの変数間のエネルギーは、均衡が取れていない場合に上昇し、調和している場合に低下すると考えている。これにより、確率分布を「正規化」する際に発生する複雑さを除去できるようになる。

　ML分野におけるこのアイデアは、少なくとも1980年代にまでさかのぼる古いものだが、その時以来、EBMをより実用的にするための進歩が生み出されてきている。LeCun氏は近年、自らの思索の深まりを機会あるごとに発表してきている。米ZDNetも報じているが、ニュージャージー州プリンストン市にあるプリンストン高等研究所（IAS）で実施した2019年の講演もその1つだ。

　また同氏は最近も、2つの論文を通じてEBMの現状を報告している。それらは2021年夏にFacebook（現Meta）の人工知能研究所（FAIR）の同僚らとの共同研究として発表した「Barlow Twins：Self-Supervised Learning via Redundancy Reduction」（Barlow Twins：冗長性削減による自己教師あり学習アルゴリズム）と、2022年1月にFAIRおよびフランス国立情報学自動制御研究所（INRIA）のAdrien Bardes氏と、フランス高等師範学校（ENS）のJean Ponce氏との共同で発表した「VICReg：Variance-Invariance-Covariance Regularization for Self-Supervised Learning」（VICReg：自己教師あり学習に向けたバリアンス－インバリアンス－コバリアンスの正規化）だ。