「AlphaZero」の先へ–強化学習によるロボット訓練、研究者が示した複雑さと期待

今回は「「AlphaZero」の先へ–強化学習によるロボット訓練、研究者が示した複雑さと期待」についてご紹介します。

関連ワード （ビッグデータ等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　人工知能（AI）の多くは、理想化された環境で開発されている。つまり、現実世界の起伏を省略して表現したコンピューターシミュレーションだ。囲碁やチェス、テレビゲームをプレイさせることを目的として作られたDeepMindの「MuZero」や、文章を生成するために作られたOpenAIの「GPT-3」もそうだが、高度な深層学習プログラムのほとんどは、余分なものを刈り込んだ制約のセットをトレーニングに使用することで大きなメリットを受けている。

　それを考えれば、完全には予期できない現実世界のさまざまな制約を考慮しなければならないロボット工学への深層学習の応用は、この領域ではもっとも困難である一方で、ひょっとするともっとも有望な研究なのかもしれない。

　これが、カリフォルニア大学バークレー校とGoogleの研究者が、強化学習と呼ばれる技術を使って数年間にわたって行ってきたロボットの実験についてまとめたレポートの結論の1つだ。

　バークレー校の電気工学・計算機科学科助教授（Associate Professor）Sergey Levine氏は、米ZDNetとのメールでのやりとりの中で「私は一般論として、強化学習にもっとも大きな課題を突きつけるのは現実世界のタスクだと考えている。しかしそこに最大のチャンスがあるかもしれない」と述べている。

　Google Researchのロボティクス関連のプログラムのメンバーでもあるLevine氏は、2021年2月に、同僚研究者のJulian Ibarz氏、Jie Tan氏、Chelsea Finn氏、Mrinal Kalakrishnan氏、Peter Pastor氏とともに、「How to Train Your Robot with Deep Reinforcement Learning; Lessons We’ve Learned（ロボットを深層強化学習でトレーニングするには; われわれが学んだこと）」と題した総説論文をarXivのプレプリントサーバーで公開した。

　この論文は、Livine氏らがこの数年の間に強化学習を用いて行った実験について説明し、それらの実験がどのような困難にぶつかったかをまとめたものだ。

　それらの実験は、ロボットアームで物体をつかませて机の上のある場所から別の場所へ移動させるなどの、ロボット工学としては基本的なタスクに関するものだった。その結果、このような非常に単純なタスクにさえ、魅力的な研究課題が含まれていることが明らかになった。

　強化学習は、何十年も前から使われている機械学習のアプローチの1つだ。強化学習が使われたもっとも有名な事例は、GoogleのDeepMind部門が開発した「AlphaZero」だろう。AlphaZeroは、人間の棋譜の情報をまったく使わずに、自己対戦を繰り返すだけで世界でもトップの囲碁棋士やチェスプレイヤー、将棋棋士を破る実力を付けたことで知られている。DeepMindは、AlphaZeroを拡張して、同様のアプローチで「MuZero」を開発した。MuZeroはAtariのゲームをマスターすることもできる。

　強化学習の基本的な考え方は、取れる可能性のある行動とその結果を探索してそれをメモリーに保存しておき、価値関数と方策という2つのアルゴリズムを組み合わせて、任意の時点での次の一手を、探索した履歴の中でどの行動がもっとも有益だったかに基づいて選択するというものだ。すべての計算は、最終的に得られる報酬（例えばチェスであれば対局での勝利）に基づいて行われる。

　Levine氏らは、ロボット工学は強化学習のパラダイムにおけるもっとも基本的な前提の一部を破っていると指摘する。

「個人の主観より2億件超のデータ」客観性と透明性を追求した不動産査定サービス【SMARG Buyer】：時事ドットコム

［株式会社グッドライフ］2億件超の不動産ビッグデータからAIがリアルタイムでオンライン査定するサービスサイトを公開。株式会社グッドライフ（本社：東京都港区、代表取締役：松本友樹）は、本日リーウェイズ株式会社の「Gate.(ゲイト)」を搭載した、テクノロジーを駆使した査定に基づく不動産買取サービス『SMARG Buyer（スマーグ バイヤー）』のサービスを開始したことをご報告いたします。公式サービスサイト【 https://smarg.jp/buyer 】「SMARG Buyer」４つの特長1、リ…

半導体を巡るゲームチェンジ: 日本経済新聞

パーソナルコンピューターの父と呼ばれるアラン・ケイ博士はかつて「ソフトウエアを本気で考える人は、自分でハードウエアを作ることになる」と述べた。この言葉は21世紀の今も正しいようだ。ビッグデータや人工知能（AI）、自動運転、「ビヨンド5G」など新技術が社会の隅々に浸透し、暮らしや経済を進化させるには、ソフトやアルゴリズムの高度化だけでは足りない。膨大なデータ処理や複雑な計算を瞬時に、かつ（今後

「個人の主観より2億件超のデータ」客観性と透明性を追求した不動産査定サービス【SMARG Buyer】 (2021年 ...

2億件超の不動産ビッグデータからAIがリアルタイムでオンライン査定するサービスサイトを公開。株式会社グッドライフ（本社：東京都港区、代表取締役：松本友樹）は、本日リーウェイズ株式会社の「Gate.(ゲ...

世界トップレベルの遺伝子解析技術で「難病」解決へ、2人の研究者が創業したai創薬・再生医療ベンチャー ...

“難病”で苦しむ人を救うための方法として、最新の医療技術やバイオテクノロジーを活用したアプローチが注目を集めている。新薬の開発プロセスにAI技術を取り入れる「AI創薬」はその代表例と言えるだろう。難病であるほど新薬の開発難易度と開発コストが高くなるため、従来とは異なる創薬技術のニーズは大きい。そこでカギを握るのがAIに学習させるビッグデータだ。AI創薬自体は以前からさまざまな企業が取り組んできているが、「AI創薬用のデータがなかなか取れない」ために苦戦してしまうことも珍しくない。大量のデータを集めるためには膨大なコストもかかる。2018年創業のナレッジパレットではその課題を“日本生まれの独自技術”を用いて解決していこうとしている。

ビッグデータから熱中症を考える まとめ - スポーツ気象Labo

ビッグデータから熱中症を考える まとめ 2021-03-29 labo 0 これまでこのコラムでは、過去10年分の熱中症の搬送件数を集計し、いくつかの視点から分析した結果を紹介してきました。

Udemyメモ「データサイエンティストを目指すあなたへ〜データサイエンス25時間ブートキャンプ〜」 - Qiita

2: ビッグデータの扱い. 生データ 従来データに準じるが、画像やオーディオデータなどリッチなデータも含む; 特定ケース: データマイニング excel,ブログ..様々なデータ形式からデータを抽出する技術; 特定ケース: 個人情報に触れず分析するデータマスキング

【高松宮記念予想】波乱の主役はこの馬! 紛れの起こりやすい特殊な状況で現れた激走注目馬/Jra重賞レース展望 ...

今週もオリジナルのビッグデータを活用したai予想から、激走注目馬を紹介します。 いよいよ2021年の春GIオープニングとなる 高松宮記念 が発走 ...

ASCII.jp：データサイエンスで社会の最適化を目指す「DATAFLUCT serviceplatform」

データサイエンス事業を展開するDATAFLUCTは、各種ビッグデータをAI・機械学習を用いて活用するサービスを提供する。

AWSって何？わかりやすく解説 | HIde a grin club - witten by hidenori

AWSとはAmazon Web Servicesの略で、Amazonが提供している100以上のクラウドコンピューティングサービスの総称です。 最近では、クラウドがとっても身近に耳にしますし、スマホやパソコンでも毎日利用している方も多いです。 AWSとはAmazon Web Servicesの略で、Amazonが提供している100以上のクラウドコンピュ ...

門真市がbodik Odcsに参加 - Bodik | ビッグデータ＆オープンデータ・イニシアティブ九州

ビッグデータ&オープンデータ・イニシアティブ九州 〒814-0001; 福岡市早良区百道浜2-1-22-5f; 公益財団法人九州先端科学技術研究所

データサイエンスで社会の最適化を目指す「DATAFLUCT serviceplatform」 - 週刊アスキー

データサイエンス事業を展開するDATAFLUCTは、各種ビッグデータをAI・機械学習を用いて活用するサービスを提供する。

ノートパソコン(即納あり) | Dell 日本

ビジネス・法人のお客様向けdell(デル)の今週のおすすめノートパソコンは＜最短翌日お届け＞の即納モデルも選択可能。お電話・オンラインチャットならデル テクノロジーズ アドバイザーがお客様のニーズやご予算に合った最適なご提案を致します。

microSDカード 通販 | ビックカメラ.com

microSDカードの通販ならビックカメラ.com。基本10％ポイントサービス。人気商品は売れ筋ランキング・口コミでチェック。店舗在庫をネットで確認・取置。お近くの店舗で受け取り可能です。

なぜ金融ビッグバンは不発だったか (4ページ目)：日経ビジネス電子版

「金融・証券市場の国際化」を旗印に1996年に始まった日本版ビッグバン。真の狙いは旧来型事業に偏った銀行改革と産業再強化の環境作りだった。だが、ほとんど成果はなく、金融を通じた日本経済再生は道半ばだ。

防犯カメラ・監視カメラ 通販 | ビックカメラ.com

防犯カメラ・監視カメラの通販ならビックカメラ.com。屋外設置タイプや屋内タイプなど家庭用の防犯カメラを豊富に品揃え。基本10％ポイントサービス。価格やスペックでの比較もできます。

Necとダイナミックプラスが共創、ホテル業界向けダイナミックプライシングサービスを提供開始 (2021年3月29日 ...

日本電気株式会社(以下NEC)とダイナミックプラス株式会社(以下ダイナミックプラス)は、需要や供給の状況に応じて価格を変動させるダイナミックプライシングサービスをホテル業界向けに共同開発し、2021年4月より提供を開始して今後3年間で260ホテルへの導入を目指します。

文書 - Wikipedia

文書（ぶんしょ、もんじょ）は、参照されることを前提として記録される情報である。 一般には漢音でぶんしょという。 もんじょ（呉音）と呼ぶ場合、特に古文書学（こもんじょがく）では、差出人が相手方に意思、用件を伝えるために書いたものをいう（この読みは「古文書」以外には用い ...

システムエンジニア★入社2年でリーダー昇格実績あり!IoTやビッグデータ関連、ロボット開発案件多数!（1063893 ...

株式会社エクスペルトのシステムエンジニア★入社2年でリーダー昇格実績あり！IoTやビッグデータ関連、ロボット開発案件多数！（1063893）の転職・求人情報。日本最大級の求人情報数を誇る転職サイト【エン転職】。専任スタッフによる書類選考対策や面接対策に役立つ無料サービスが充実。求人企業からのスカウトも多数。

「児童虐待等リスクアセスメント支援システムの開発及び児童虐待等のデータ分析業務委託」に係る公募型プロポーザルの実施に ...

「児童虐待等リスクアセスメント支援システムの開発及び児童虐待等のデータ分析業務委託」に係る公募型プロポーザルの実施について 「京成小岩駅周辺地区街区整備計画作成支援業務委託」に係る公募型プロポーザルの実施について

クラウドHPCに移行せざるを得なかった悲しい理由：オンプレ＆クラウドHPC【後編】 - TechTargetジャパン ...

オーストラリアのChildren's Cancer Instituteは当初オンプレミスでHPCを構築したがクラウドベースのHPCに移行することにした。だが他にも、一般企業でもあり得る課題を抱えていた。

全国コンテンツマーケティング探訪～現場の声からヒントを得る一覧：MarkeZine（マーケジン）

翔泳社が運営するマーケター向け専門メディア。MarkeZineはデジタルを中心とした広告・マーケティングに関する情報を多角的な視点で毎日提供します。

広島県企業局/4月7日まで参加受付/水道管路劣化AI診断 | 建設通信新聞Digital

　広島県企業局は、ＡＩ（人工知能）による水道管路劣化予測診断業務の一般競争入札を公告した。参加申請は４月７日まで、水道広域連携推進担当で受け付ける。同１２日までに資格確認結果を通知し、２６日に入札する。　参加資格は、物品・役務の「１５Ｃシステム設計・開発」「１５Ｄシステムの保守」の認定業者を対象とする。　同業務は、企業

弘大COIの成果を文科省職員が学ぶ｜福祉・医療,教育｜青森ニュース｜Web東奥

健康寿命の延伸を研究する弘前大学COI（センター・オブ・イノベーションプログラム）の成功事例を文部科学省の職員が学ぶ研修会が26日、同省で行われた。同COI副拠点長の村下公一・同大教授が、短命県返上につながる研究のポイントについて講演した。同COIは弘前市岩木地区の住民を対象とした「岩木健診」を2005年から実施。野菜摂取の状況や運動機能など約2千項目を調べ、集めた健康ビッグデータを活用して健康寿命延伸研究に取り組んでいる。村下教授は「弘大COIの真骨頂が岩木健診」とし、健常時の幅広いビッグデ…

お持ち込み! | かめや釣具 - kameya-choka.com

おはようございます! 戸町店 永川デス。 常連様よりビッグなお持ち込みを頂きました! アオリイカ3440g＆1240g!! 3440gの方がデカすぎてサイズ感がおかしくなっちゃいましたね(笑) 当店今年初の3kgオーバーのモンスターを釣り上げられました! おめでとうございます! 場所はHI☆MI☆TUだそう ...

ジャッカル ダウズスイマー 180sf 再入荷!! 宮崎店 | かめや釣具

こんにちは！！かめや釣具宮崎店です！！(^^)/宮崎のバサーの皆様、緊急ニュースです！！＼( ◎o◎；)／！！今、最も入手困難とされるジャッカル様のバスルアー、「ダウズスイマー　180SF」がかめや釣具宮崎店に再入荷しました～！！ ...

BM八日市店 - 台一覧 - daidata.goraggio.com

台データオンライン bm八日市店 pﾋﾞｯｸﾞﾄﾞﾘｰﾑ2 gfe 台番一覧 BM八日市店,台データ,出玉公開,台データオンライン,daidata,大当たり情報,100850 店舗TOP

2021/3/28 ビッグアップル秋葉原 - slot-data.com

総差枚+22,000 平均差枚+54 平均G数2,023 勝率135/410◯政宗3 ◯パチスロコードギアス 反逆のルルーシュR2

スズキ スカイウェイブ250 別体式etc ｜Surface｜新車・中古バイクなら【グーバイク】

スカイウェイブ２５０　別体式ＥＴＣ。アクセス抜群◎ＪＲ環状線寺田町駅より徒歩１分、国道２５号線からもすぐの便利なビッグスクーター専門店です♪親切丁寧をモットーに ・・・。新車・中古バイク情報のことなら【バイク、まるごと。グーバイク(GooBike)】！日本最大のバイク掲載台数を誇るバイク情報サイト！全国の新車・中古バイクが様々な条件で検索可能です。グーバイクならあなたにピッタリな1台が見つかります。

ビッグスロット北5条店 - Hey!鏡 - 大当り情報

ビッグスロット北5条店 - HEY!鏡 - 大当り情報 ... （2）本サイトからウェブページのHTMLデータを取得して、取得したデータの中から、特定のトピックに関わるデータを抽出、整形しなおすこと ...

ヤフオク! - フロントブレーキパッド ビッグホーン Ubs73gw U...

≪午後５時まであすつく!!≫≪安心の一流メーカー製≫≪メーカー＆当店のＷ保証！≫税込価格！適合保証！ＮＴＢ社正規品－ＮＥＷ　ＮＡＯシリーズ－　新品フロント(前輪)用ブレーキパット４枚セット(フロント左右を交換できます) さらにブレーキに最適なブレンドにバージョンアップ