「忘却」をAIに教えればAIの働きはもっと良くなるかもしれない

今回は「「忘却」をAIに教えればAIの働きはもっと良くなるかもしれない」についてご紹介します。

関連ワード （Facebook、機械学習等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

現在の機械学習システムは人工知能であるかのように振る舞うが、実際のところは、機械学習システムは取り扱っているデータを何も「理解」していない。そのため、取るに足りないことであっても永遠に保管してしまう傾向がある。Facebookの研究チームは、AIがデータを少し片付けてパフォーマンスを上げ人間の考え方に少しでも近づくための方法として構造化された忘却を提案した。

研究チームは、人間とAIエージェントが同じ問題を解決しようとする過程を例にとってこの問題を説明している。

さまざまな色のドアが10枚あるとする。あなたは黄色のドアの向こう側へ行くように指示される。あなたはその通りに行動し、数分後には他のドアの色は忘れてしまう。2つが赤、1つがチェック柄、2つが木目などであったとしてもそれはまったく重要ではなく、他のドアは黄色ではなくてあなたが選んだドアは黄色だったということだけが重要だったからだ。あなたの脳は重要でない情報をほとんど瞬時に捨てた。

しかしAIは黄色以外の9つのドアの色と配置も記憶にとどめ続けるだろう。課題やデータを直感的に理解することがないからだ。だから決定を下すために使用した情報をすべて保管する。

データの量が比較的少ない場合には問題にならないが、機械学習のアルゴリズムは、特にトレーニング中にはたいてい膨大なデータポイントを扱い、テラバイト単位の画像や言語を取り込む。新しいデータと獲得した知識を常に比較するように設計されているため、重要でないことを忘れるようになっていなければ、意味のない、あるいは古くて役に立たないデータポイントを常に参照し、AIは泥にはまったように動きにくくなってしまう。

Facebookの研究チームが考えた解決策のポイントは、AIが初めにデータを評価するときにそのデータを覚えておかなくてはならない期間をAI自身に指示するというものだ。私たちがこの能力を持ちたいと思うようなものではないが。

画像クレジット：Facebook

FacebookのAI研究者でこのExpire-Span（有効期間）の論文に参加したAngela Fan（アンジェラ・ファン）氏は「個々の記憶は予測される有効期限と関連づけられ、記憶のスケールはタスクによって決まります。記憶が保持される時間はほんの数ステップの間なのか、タスクが完了するまでなのかというように、タスクのニーズによって決まります」と説明する。

先ほどのドアの例でいうと、黄色以外のドアの色は黄色のドアを見つけるまでは大いに重要だ。他のドアをいくつ調べなくてはならないかによって記憶を保持しておく時間はまちまちだが、黄色のドアを見つけた時点でそれ以外のドアの色は忘れてかまわない（もっと現実的な例としては、システムが特定の顔を探しているなら、その顔を見つけた後は他の顔は忘れてかまわないだろう）。

長い文章を解析する場合、特定の語句の記憶が重要なのは文の末尾か段落の末尾、あるいはもっと長いかもしれない。それは、エージェントが特定しようとしていることが話者なのか、その文が含まれる章なのか、話のジャンルなのかに応じて異なる。

最終的にモデルがソートする情報の量が単純に減るため、パフォーマンスは向上する。システムは他のドアが重要かどうかを知らなければ、その情報は保管され、モデルのデータ量が増えてスピードは落ちる。

ファン氏は、Expire-Spanを使ってトレーニングしたモデルはパフォーマンスが高くて効率が良く、メモリと計算時間は少ないと述べている。このことは、トレーニングとテストの際に重要だ。トレーニングとテストには計算処理に長い時間がかかりがちで、わずかな向上であっても効果は大きく、さらにエンドユーザーレベルでは同じタスクが少ないパワーで速くできることになる。写真を急に処理する場合、後からではなくライブで実行されることに意味がある。

忘れられるようになればある意味でAIの処理が人間の認知に近づくが、人間のような直感的で微妙な処理にはまだ遠い。もちろん、何をどれぐらいの間覚えておくかを選べることは、パラメーターをランダムに選んでいるように見える私たちを超える大きな利点だ。

関連記事
・コンテンツモデレーションやオブジェクト識別などをAIベースのAPIで支援するHiveが92億調達
・Proxima Technologyが単眼・ステレオカメラ対応の深層学習を用いた高精度visual SLAM技術「DVF SLAM」開発
・東工大発ネフロックが任意画像から別画像を生成する技術関連の特許取得、ジンズがメガネ試着サービスに導入

画像クレジット：Facebook

【原文】

While modern machine learning systems act with a semblance of artificial intelligence, the truth is they don’t “understand” any of the data they work with — which in turn means they tend to store even trivial items forever. Facebook researchers have proposed structured forgetfulness as a way for AI to clear the decks a bit, improving their performance and inching that much closer to how a human mind works.

The researchers describe the problem by explaining how humans and AI agents might approach a similar problem.

Say there are 10 doors of various colors. You’re asked to go through the yellow one, you do so and then a few minutes later have forgotten the colors of the other doors — because it was never important that two were red, one plaid, two walnut, etc., only that they weren’t yellow and that the one you chose was. Your brain discarded that information almost immediately.

But an AI might very well have kept the colors and locations of the other nine doors in its memory. That’s because it doesn’t understand the problem or the data intuitively — so it keeps all the information it used to make its decision.

This isn’t an issue when you’re talking about relatively small amounts of data, but machine learning algorithms, especially during training, now routinely handle millions of data points and ingest terabytes of imagery or language. And because they’re built to constantly compare new data with their accrued knowledge, failing to forget unimportant things means they’re bogged down by constant references to pointless or outdated data points.

The solution hit upon by Facebook researchers is essentially — and wouldn’t we all like to have this ability — to tell itself how long it needs to remember a piece of data when it evaluates it to begin with.

Image Credits: Facebook

“Each individual memory is associated with a predicted expiration date, and the scale of the memory depends on the task,” explained Angela Fan, a Facebook AI researcher who worked on the Expire-Span paper. “The amount of time memories are held depends on the needs of the task — it can be for a few steps or until the task is complete.”

So in the case of the doors, the colors of the non-yellow doors are plenty important until you find the yellow one. At that point it’s safe to forget the rest, though of course depending on how many other doors need to be checked, the memory could be held for various amounts of time. (A more realistic example might be forgetting faces that aren’t the one the system is looking for, once it finds it.)

Analyzing a long piece of text, the memory of certain words or phrases might matter until the end of a sentence, a paragraph or longer — it depends on whether the agent is trying to determine who’s speaking, what chapter the sentence belongs to or what genre the story is.

This improves performance because at the end, there’s simply less information for the model to sort through. Because the system doesn’t know whether the other doors might be important, that information is kept ready at hand, increasing the size and decreasing the speed of the model.

Fan said the models trained using Expire-Span performed better and were more efficient, taking up less memory and compute time. That’s important during training and testing, which can take up thousands of hours of processing, meaning even a small improvement is considerable, but also at the end user level, where the same task takes less power and happens faster. Suddenly performing an operation on a photo makes sense to do live rather than after the fact.

Though being able to forget does in some ways bring AI processes closer to human cognition, it’s still nowhere near the intuitive and subtle ways our minds operate. Of course, being able to pick what to remember and how long is a major advantage over those of us for whom those parameters are chosen seemingly randomly.

（文：Devin Coldewey、翻訳：Kaori Koyama）

Facebook - Log In or Sign Up

Facebookアカウントを作成するか、ログインしてください。友達や家族と写真や動画、近況をシェアしたり、メッセージをやり取りしましょう。 ... Facebookを使うと、友達や同僚、同級生、仲間たちとつながりを深められます。ケータイ ...