画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー

今回は「画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー」についてご紹介します。

関連ワード (実現、画面上、自動等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


マイクロソフトは米ラスベガスで現地時間9月18日から20日まで開催したイベント「Power Platform Community Conference」でPower Automateの新機能として、ユーザーが画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」のパブリックプレビューを開始すると発表しました。

Record with Copilot in Power Automate Desktop

この機能は、今年(2024年)5月に開催されたイベント「Microsoft Build 2024」で、Power Automateの新機能「AIレコーダー」として発表されていたものです。

参考:[速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表

まるで人間がマウスやキーボードで操作するのと同じように、コンピュータ自身がアプリケーションを操作することで処理の自動化を実現するRPA(Robotic Process Automation)では、一般に人間によるマウスやキーボードなどの操作を記録し、それをなぞることで基本的なRPAフローを作成します。

しかしこのRPAフローは一般に画面上の位置やDOMツリーの位置などを基準として自動操作を実行しているため、アプリケーションのアップデートなどでボタンの位置が変わったり画面レイアウトの変更があった場合にはボタンやフォームなどを見失ってすぐに破綻してしまい、そのたびに人間が修正するといった手間が発生することが課題でした。

画面変更があっても生成AIが適切に対応できる

今回パブリックプレビューとなった「Record with Copilot in Power Automate Desktop」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳しく生成AIに伝えます。

これにより生成AIは単に画面上の位置やDOMツリーではなく、操作するボタンや画面フォームの内容を理解しつつ操作することを学習できるようになります。

すると画面レイアウトが変更されたとしても、その変更に対応した適切な操作を柔軟に行えるため、人間による修正がほとんど不要となり、つねに正確な操作が期待できます。

下記は米マイクロソフトのPrincipal Program ManagerでPower Platformの開発に携わるよしだたいき氏が、5月に「AIレコーダー」が発表されたときにポストしたものです。

出たーーーーーーーーーーーーー!
Power Automate が声と画面操作するだけで自動でRPA作っちゃいますよ機能「AI レコーダー」爆誕!!
しかもUI変わっても自動修復までしてくれちゃう!

ちゃんと日本語動画作っておきましたよ↓#MSBuild #PowerAutomate pic.twitter.com/m5eSuVVdiq

— よしだたいき | 高卒で??GAFAMエンジニア (@TaikiYoshidaJP) May 21, 2024

パブリックプレビューは現時点では米国の業務アカウントもしくは教育アカウントを対象として提供されます。米国以外での提供時期などは明かされていません。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
「バイアスのないAI」実現への道のりはデータから始まる
IT関連
2022-08-27 15:53
フォルクスワーゲン金融子会社、「Exadata Cloud@Customer」を導入
IT関連
2023-05-04 21:18
現代のカップルに合わせた銀行サービスの形
IT関連
2021-03-06 15:37
日本~シンガポールなどを結ぶ海底ケーブル、Facebookとグーグルが敷設へ
IT関連
2021-08-17 07:57
「Vine Linux」リリース終了 1998年誕生、国産Linuxディストリビューションの先駆け
ネットトピック
2021-05-09 07:40
SCSK、意思決定を迅速にするデータ活用基盤サービスを提供
IT関連
2022-12-01 21:37
アジア系米国人コミュニティを対象のデジタルバンク立ち上げのためCheeseが3.9億円調達
フィンテック
2021-05-07 01:11
カバンの中で勢いよく発火、発煙 リチウムイオン電池の事故、国民生活センターが再現動画で注意喚起
くらテク
2021-03-20 20:30
移民農業労働者が米国で就労資格を得て法的に保護されるサービスをSESO Laborが提供
パブリック / ダイバーシティ
2021-03-23 15:36
音声コミュニケーションと生成AIの多様な活用を展開–レブコムが新戦略
IT関連
2023-07-11 14:14
GitHub、ArmベースのLinux/Windowsランナーをパブリックベータで公開。x64ランナーより37%安価に
ARM
2024-06-06 05:42
富士通、ポルトガル政府からスーパーコンピューターシステム受注–医療などに活用
IT関連
2021-02-22 18:41
AirPodsで手の動きをリアルタイムトラッキングする「EarphoneTrack」 :Innovative Tech
イラスト・デザイン
2021-02-27 13:32
インテック、化粧品メーカー伊勢半の基幹システムを刷新–DXへ一歩踏み出す
IT関連
2021-05-11 17:23