ディープラーニングと脳の関係とは? 人工ニューロンや再帰型ニューラルネットワークを解説

ディープラーニングと脳の関係とは? 人工ニューロンや再帰型ニューラルネットワークを解説 サムネイル

今回は「ディープラーニングと脳の関係とは? 人工ニューロンや再帰型ニューラルネットワークを解説」についてご紹介します。

関連ワード (BOOKS、イノベーション、人工知能等) についても詳細と、関連コンテンツとをまとめていますので、参考にしながらぜひ本記事について議論していってくださいね。

本記事は、CodeZine様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


本記事は『あたらしい脳科学と人工知能の教科書』の「Chapter4 脳と人工知能」から一部を抜粋したものです。掲載にあたり編集しています。

4.1 概要:脳と人工知能

 最初に、このChapterの概要を解説します。機械学習は人工知能の一分野ですが、図4.1に脳と機械学習の関係を示します。

図4.1 脳と人工知能
図4.1 脳と人工知能

 機械学習は、教師あり学習、教師なし学習、強化学習に大きくグループ分けすることができます。実は、脳の各部位で行われている学習は、これらの機械学習のグループに対応するとされることがあります。大脳皮質で行われている学習は教師なし学習に、大脳辺縁系と大脳基底核で行われている学習は強化学習に、小脳で行われている学習は教師あり学習に対応すると考えられることがあるようです。

 それでは、これらの機械学習のグループにはどのようなアルゴリズムが含まれるのかを見ていきましょう。さきほどの図4.1の右側に注目してください。これら以外にもたくさんの機械学習の手法がありますが、このChapterでは特に脳と関係が深そうなもののみを扱います。

 教師あり学習では、コンピュータ上で神経細胞を再現するニューラルネットワークをこのChapterで解説します。また、報酬をもとに行動が決定される強化学習では、Deep Q-Networkを解説します。そして、教師なし学習では、入力を圧縮し復元するオートエンコーダ、画像などのデータを生成する生成モデル、高次元のデータを低次元に要約する主成分分析、確率的に情報が伝播するボルツマンマシンを解説します。

 このChapterでこれらについて学び、脳と人工知能の接点を探索していきましょう。

4.1 人工ニューロン、人工ニューラルネットワーク

 まずは、人工ニューロン、人工ニューラルネットワークについて解説します。神経細胞ネットワークをモデルにした、コンピュータ上のネットワークについて学んでいきましょう。

 ここで、以降で使用する用語について少し解説します。

  • 人工ニューロン(Artificial Neuron)
    →コンピュータ上のモデル化された神経細胞のことを、人工ニューロンといいます。
  • 人工ニューラルネットワーク(Artificial Neural Network)
    →コンピュータ上のモデル化された神経細胞ネットワークのことを、人工ニューラルネットワークといいます。

 これ以降は、簡単にするためにコンピュータ上のものに対してニューロン、ニューラルネットワークという名称を使うことにします。

4.2.1 人工ニューロン

 それでは、この人工ニューロンの構造を見ていきましょう。実際の神経細胞は、精緻な分子機構に基づく大変複雑な装置です。しかし、神経細胞の持つ機能を全てそのままモデル化しては大変複雑な人工ニューロンになってしまい、かえって本質を見落としかねません。神経細胞が持つ様々な機能の中から本質を見極めてモデル化することで、神経細胞ネットワークにおける情報処理の見通しがよくなります。

 可能な限り本質を損なわないこと、そして可能な限りシンプルにすること、その両者のバランスをとった形として、人工ニューロンはよく図4.2のようにモデル化されます。

図4.2 人工ニューロンの一例
図4.2 人工ニューロンの一例

 ニューロンには複数の入力がありますが、出力は1つだけです。これは、樹状突起への入力が複数あるのに対して、軸索からの出力が1つだけであることに対応します。

 各入力には、重みを掛け合わせます。重みは結合荷重とも呼ばれ、入力ごとに値が異なります。この重みの値が脳のシナプスにおける伝達効率に相当し、値が大きければそれだけ多くの情報が流れることになります。

 そして、重みとバイアスを掛け合わせた値の総和に、バイアスと呼ばれる定数を足します。バイアスは言わば、ニューロンの感度を表します。バイアスの大小により、ニューロンの興奮しやすさが調整されます。

 入力と重みの積の総和にバイアスを足した値は、活性化関数と呼ばれる関数で処理されます。この関数は、入力をニューロンの興奮状態を表す信号に変換します。神経細胞において、細胞体の電位がある値まで上昇すると、軸索に信号を送るのと似ていますね。

 実際の神経細胞は物理的・化学的制約、そして進化上の制約により多くの計算の本質でない要素を抱えざるを得ません。人工ニューロンのモデルはシンプルですが、脳のような制約のないコンピュータの世界では本質のみを抽出することができます。ただ、シンプルな人工ニューロンが本当に神経細胞の計算の本質を現しているかどうかについては、諸説あります。

 このような人工ニューロンは、1943年にウォーレン・マカロック(W. S. McCulloch)とウォルター・ピッツ(W. Pitts)が提案したMcCulloch-Pittsモデルに起源があります。このモデルは、入出力が0か1のどちらかに限定された非常に単純なモデルです。McCulloch-Pittsモデルは、神経科学の知見である、「全か無かの法則」を数理的に表したモデルとなります。

 そして、より神経科学的に正確なニューロンのモデルにアラン・ホジキン(A. L. Hodgkin)とアンドリュー・ハクスリー(A. F. Huxley)によって1952年に提案されたHodgkin-Huxleyモデルがあります。ホジキンとハクスリーは、ヤリイカの巨大神経についての実験結果をベースに、神経細胞を電気回路として表現しました。これはHodgkin-Huxley方程式として表されますが、これを解くことで軸索の活動電位の発生と伝播を示すことができます。

 この功績により、彼らは1963年度のノーベル生理学・医学賞を受賞しました。さらに、Hodgkin-Huxleyモデルよりも簡略化されて扱いやすいモデルに、FitzHugh-Nagumoモデルや、Izhikevichモデルがあります。

4.2.2 人工ニューラルネットワーク

 次に、人工ニューラルネットワークについて解説します。人工ニューロンをつなぎ合わせて構築されたネットワークが、人工ニューラルネットワークです。

 図4.3にニューラルネットワークの一例を示します。

図4.3 人工ニューラルネットワークの一例
図4.3 人工ニューラルネットワークの一例

 人工ニューロンが層状に並んでいますね。ニューロンは、前の層の全てのニューロンと、後ろの層の全てのニューロンと接続されています。ニューラルネットワークには、複数の入力と複数の出力があります。数値を入力し、情報を伝播させ結果を出力します。出力は確率などの予測値として解釈可能で、ネットワークにより予測を行うことが可能です。

 以上のように、ニューラルネットワークはシンプルな機能しか持たないニューロンが層を形成し、層の間で接続が行われることにより形作られます。ニューロンや層の数を増やすことで、ニューラルネットワークは高い表現力を発揮するようになります。

 このような層状のニューラルネットワークは、1958年にローゼンブラット(F. Rosenblatt)が提案した「パーセプトロン」に起源があります。ローゼンブラットはMcCulloch-Pittsモデルによるニューロンを入力層、中間層、出力層の3層に並べた「多層パーセプトロン」を考案しました。

4.2.3 バックプロパゲーションによる学習

 ここで、バックプロパゲーションによるニューラルネットワークの学習について解説します(図4.4)。ニューラルネットワークは、出力と正解の誤差が小さくなるように重みとバイアスを調整することで学習することができます。

図4.4 バックプロパゲーション(誤差逆伝播法)
図4.4 バックプロパゲーション(誤差逆伝播法)

 1層ずつさかのぼるように誤差を伝播させて重みとバイアスを更新しますが、このアルゴリズムは、バックプロパゲーション、もしくは誤差逆伝播法と呼ばれます。バックプロパゲーションでは、ニューラルネットワークの各層のパラメータ(重みとバイアス)が誤差を小さくするように調整されます。ニューラルネットワークの各パラメータが繰り返し調整されることでネットワークは次第に学習し、適切な予測が行われるようになります。

 バックプロパゲーションは、1986年にbackwards propagation of errors(後方への誤差の伝播)の略として米国の認知心理学者デビッド・ラメルハートによって命名されました。ラメルハートは、活性化関数として出力が0か1となる「ステップ関数」の代わりに、0と1の間で連続的な値をとる「シグモイド関数」を採用しました。これにより数学的扱いが楽になり、微分操作ができるようになるためバックプロパゲーションを実現することが可能になりました。

4.2.4 ディープラーニング

 次に、ディープラーニングについて解説します。多数の層からなるニューラルネットワークの学習は、ディープラーニング、もしくは深層学習と呼ばれます(図4.5)。ディープラーニングは、産業、科学やアートなど幅広い分野で活用されています。

図4.5 多数の層を持つニューラルネットワーク
図4.5 多数の層を持つニューラルネットワーク

 ディープラーニングはヒトの知能に部分的に迫る、あるいは凌駕する高い性能をしばしば発揮することがあります。特に、AlphaGoが囲碁チャンピオンに勝利したことや、高度な画像認識で近年注目を集めています。

 なお、何層以上のケースをディープラーニングと呼ぶかについては、明確な定義はありません。層がいくつも重なったニューラルネットワークによる学習を、漠然とディープラーニングと呼ぶようです。基本的に、層の数が多くなるほどネットワークの表現力は向上するのですが、それに伴い学習は難しくなります。

 2006年にカナダのコンピュータ科学者、認知心理学者のジェフリー・ヒントンによって多層にネットワークを積み重ねる手法が提唱されたのですが、2012年には物体の認識率を競うILSVRCにおいてヒントン率いるトロント大学のチームがディープラーニングによって従来の手法よりも大幅なエラー率の改善を遂げたことが研究者に衝撃を与えました。人間の神経細胞ネットワークを模したニューラルネットワークは、実際に高い性能を発揮することで注目を集め人工知能、AIの第3次ブームの主役となっています。

4.2.5 再帰型ニューラルネットワーク(RNN)

 ここで、再帰型ニューラルネットワーク(Recurrent Neural Network、RNN)を解説します。RNNは、時間方向に並んだデータ(時系列データ)を扱うのに適したニューラルネットワークです。RNNは、時間変化するデータのトレンドや周期、時間を跨いだ関連性をうまく捉えることができます。

 ニューラルネットワークにおいて、最初の層と最後の層の間に挟まれた層を中間層といいますが、先ほど解説した通常のニューラルネットワークにおいて、中間層の出力は隣の層に伝わるのみでした。RNNの場合、これに時間方向の接続が加わります。すなわち、RNNにおける中間層の出力は次の時刻の中間層と接続されることになります。これにより、RNNは時間変化するデータを扱うことが可能になります。

 この世界は、時間と共に脈絡を持って変化するデータに溢れています。例えば、海水面の高さ、空中のボールの位置、気温、物価などは前の時刻の値に強く依存しており、何の脈絡もなく突然値が変わることはありません。このような時間連続性を持つ値からなるデータが、「時系列データ」です。我々の脳は無意識にこのような時系列データを処理し、次の時刻における出来事の予測を行っています。

 そして、このような予測に基づき、次の行動が決定されます。なお、時間で変化するわけではないのですが、単語の並びが連続性を持つ文章なども時系列データとしてRNNで扱うことができます。

 RNNは、データが時間方向にも伝播しますが、前述のバックプロパゲーションを時間をさかのぼるように適用することで学習することができます。適切に学習したRNNは、次の時刻の値を精度よく予測できるようになります。

4.2.6 ディープラーニングと脳の比較

 それでは、ここでディープラーニングと脳の関係を表4.1にまとめます。

表4.1 ディープラーニングと脳の比較
表4.1 ディープラーニングと脳の比較

 まずはバックプロパゲーションについてですが、ディープラーニングでは効率的な学習のためにバックプロパゲーションを必要とします。それに対して、もし脳においてバックプロパゲーションが起きているとすれば、シナプス間口や軸索を修正量をさかのぼる必要があり、なおかつ情報の伝播方向を脳全体で同期して切り替える必要があります。

 人工物ではない脳でこのような現象が起きているとは、少々考えにくいのではないでしょうか。バックプロパゲーションは、脳をモデルにしていない人工のアルゴリズムと考えるのが自然に思えます。ただ、バックプロパゲーションを参考に、より神経科学的に妥当なアリゴリズムが多数考案されてはいるようです。

 層に関しては、ディープラーニングは縦に深くなることが多く時には100層を超えることもあります。ニューラルネットワークで層内のニューロン数が多すぎると、重みの数が隣の層のニューロン数との掛け算になるので計算量が膨大になってしまいます。そのため、ディープラーニングは層内のニューロン数を増やすのではなく層を重ねるようにして進化してきました。

 一方脳では、大脳の表面と小脳の表面が層構造をとります。大脳を覆う大脳皮質は6層、小脳を覆う小脳皮質は3層構造です。ディープラーニングと比べて脳の方が層が少ないですが、脳の場合は同じ層に非常に多くのニューロンを含むという特徴があります。大脳皮質は球面に沿って広く展開し、内部で遠方の領域同士をつなげる戦略を選んだため、広い層に非常に多くの神経細胞を含みます。大脳皮質の場合、6層しかないにも関わらず神経細胞の数は全体で100億程度におよびます。そのような意味で、ディープラーニングは縦に深く、脳は横に広いネットワークを持つことになります。

 また、ディープラーニングの場合は、基本的に学習に正解データが必要です。それに対して脳の場合ですが、大脳は正解を必要としない傾向がある一方、小脳は正確な運動を実現するために正解を必要とする傾向があります。

 ニューロンの接続に関してですが、一般的なディープラーニングの場合は隣の層のニューロンと接続します。ただし、ResNet[参考文献14]のように離れた層同士が接続されるニューラルネットワークも提案されています。また、再帰型ニューラルネットワーク(RNN)の場合は、時間方向の接続が加わります。それに対して、脳の場合は介在と投射により近傍および遠方の神経細胞と接続されます。

 コンピュータ上のニューラルネットワークは実際の神経細胞ネットワークを参考にしています。しかし、ディープラーニングには脳とは関係ない要素も取り込まれています。ディープラーニングのアルゴリズムは、脳を参考にしたり、あるいは距離をおいたりしながら今も進化を続けています。

あたらしい脳科学と人工知能の教科書

Amazon SEshop その他

あたらしい脳科学と人工知能の教科書

著者:我妻幸長
発売日:2021年1月25日(月)
定価:2,800円+税

本書について

脳と人工知能のそれぞれの概要から始まり、脳の各部位と機能を解説した上で、人工知能の様々なアルゴリズムとの接点をわかりやすく解説。脳と人工知能の、類似点と相違点を学ぶことができます。

 

人工知能 - Wikipedia

人工知能(じんこうちのう、英: artificial intelligence 、AI〈エーアイ〉)とは、「『計算( computation )』という概念と『コンピュータ( computer )』という道具を用いて『知能』を研究する計算機科学( computer science )の一 [1]。

人工知能(AI)とは - IT用語辞典 e-Words

人工知能【AI / Artificial Intelligence】とは、人間にしかできなかったような高度に知的な作業や判断をコンピュータを中心とする人工的なシステムにより行えるようにしたもの。人類は未だに人間の脳の振る舞いや知能の仕組みを完全には解明していないため、人工知能にも明快な定義は与えられていない。

人工知能のやさしい説明「What's AI」

人工知能(Artificial Intelligence; AI)とは何か,どんな人工知能研究が行われているのか,人工知能技術はどのように使われているのかといったことについての説明です.

人工知能(AI)とは?:AI・機械学習の基本概念 - @IT

「人工知能」「AI」という人気キーワードの内容を分かりやすく短く紹介。概要から、定義、大分類、代表的な事例、主な歴史までをまとめる。

人工知能・AIとは | 基本知識・歴史・未来 | Ledge.ai

AI(人工知能)とは、「Artificial Intelligence」の略称です。近年目覚ましい発展を遂げているAIは私たちの社会に身近な存在となった今だからこそ正しい理解が必要です。この記事では、機械学習・ディープラーニングなど人工知能の歴史、基本知識から、活用事例・未来への影響などを解説します。

2 人工知能(AI)の現状と未来

人工知能(AI)の現状と未来 第2節 ア 日常生活に浸透する人工知能(AI) 人工知能(AI)は、技術水準が向上しつつあるのみな らず、既に様々な商品・サービスに組み込まれて利活用が はじまっている。身近なところでは、インターネットの検

【2020年版】最新の業界別AI(人工知能)サービスをまとめて ...

最近ではAI(人工知能)を使ったサービスが増えていますよね。でも実際にAI(人工知能)がサービスの中でどの様に活用されているか、どんなジャンル分けがされるか、などを知らない方は多いでしょう。そこで今回はAI(人工知能)が日々の生活の中でサービスとしてどの様に活用されているのかについてお伝えします。

ビジネスにおける、AI(人工知能)活用の最新事例を21選紹介 ...

業界業種問わず、様々な企業がAI(人工知能)の導入を既に実施している、またはAI導入を検討していることは、ご存知の方も多いかと思います。今回はAIがどのような職種でどのような業務自動化に使われているのか、紹介していきます。

5分で解説!AI(人工知能)できること、できないことお教えし ...

AI(人工知能)と聞いたらドラえもんや鉄腕アトムのようなロボットをイメージされる方多いですよね。しかし現実のAI(人工知能)はそれではなく特定機能に特化したAI(人工知能)です。それでは現在のAI(人工知能)にできること、できないことをお話します。

新型コロナ AIなどで感染拡大の端緒分析 実証実験へ 政府 | 新型 ...

【NHK】新型コロナウイルスの感染傾向を早期に把握するため、政府は民間の検査会社からPCR検査のデータを提供してもらい、AI=人工…

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Oracle、APEXのローコード開発プラットフォームをスタンドアロンで提供開始
IT関連
2021-01-20 10:02
経費精算を効率化する法人クレジットカードプラットフォームのMossが約26億円調達
フィンテック
2021-01-20 08:47
「LEVI’S×ポケモン」発売 ストーンウォッシュ「551z」にピカチュウ 90年代風デザイン
くらテク
2021-02-04 13:37
「セキュリティと利便性はトレードオフ」はウソ? 生体認証とゼロトラストセキュリティ :サイバーセキュリティ2029(1/2 ページ)
セキュリティ
2021-02-17 04:04
「地球をハックする」衛星データ解析コンテスト運営のSolafuneが資金調達を実施
宇宙
2021-01-23 23:04
Amazon RDSのMySQL/MariaDBがレプリケーションフィルターをサポート。特定のテーブルだけを選んでレプリカを作成
AWS
2021-02-18 08:13
企業向けID管理のOktaがSaaSへのログイン統計発表、Office 365が(一応)トップ
ネットサービス
2021-01-31 22:45
Vue.js&Nuxt.js超入門
amazon
2021-01-31 22:45
富士ソフト、蔦屋書店のシステムをAWS上でリアーキテクト
IT関連
2021-01-15 03:49
NTT東がドローンの新会社 機体の提供やパイロットの派遣サービスなど
企業・業界動向
2021-01-19 19:09
Oculus、審査なしでVRアプリを販売できるサービス 非公式ストアとも連携
企業・業界動向
2021-02-04 23:52
Uber Eatsのカバンに新色「グリーン」 路上での視認性を強化
企業・業界動向
2021-03-05 16:06
空飛ぶ車、万博相が規制改革や予算措置検討を各省に要請
IT関連
2021-03-05 11:45
AIがヒット曲を量産? 人気曲の特徴を学習、メロディやコード進行を自動生成するアプリ登場
ネットトピック
2021-02-23 07:00
NASA火星探査機「Perseverance」の重要ミッション、AWSがデータ処理など支援
IT関連
2021-02-25 04:09
みんなのAI講座 ゼロからPythonで学ぶ人工知能と機械学習
Udemy
2021-02-25 04:09