画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー

今回は「画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー」についてご紹介します。

関連ワード (実現、画面上、自動等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


マイクロソフトは米ラスベガスで現地時間9月18日から20日まで開催したイベント「Power Platform Community Conference」でPower Automateの新機能として、ユーザーが画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」のパブリックプレビューを開始すると発表しました。

Record with Copilot in Power Automate Desktop

この機能は、今年(2024年)5月に開催されたイベント「Microsoft Build 2024」で、Power Automateの新機能「AIレコーダー」として発表されていたものです。

参考:[速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表

まるで人間がマウスやキーボードで操作するのと同じように、コンピュータ自身がアプリケーションを操作することで処理の自動化を実現するRPA(Robotic Process Automation)では、一般に人間によるマウスやキーボードなどの操作を記録し、それをなぞることで基本的なRPAフローを作成します。

しかしこのRPAフローは一般に画面上の位置やDOMツリーの位置などを基準として自動操作を実行しているため、アプリケーションのアップデートなどでボタンの位置が変わったり画面レイアウトの変更があった場合にはボタンやフォームなどを見失ってすぐに破綻してしまい、そのたびに人間が修正するといった手間が発生することが課題でした。

画面変更があっても生成AIが適切に対応できる

今回パブリックプレビューとなった「Record with Copilot in Power Automate Desktop」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳しく生成AIに伝えます。

これにより生成AIは単に画面上の位置やDOMツリーではなく、操作するボタンや画面フォームの内容を理解しつつ操作することを学習できるようになります。

すると画面レイアウトが変更されたとしても、その変更に対応した適切な操作を柔軟に行えるため、人間による修正がほとんど不要となり、つねに正確な操作が期待できます。

下記は米マイクロソフトのPrincipal Program ManagerでPower Platformの開発に携わるよしだたいき氏が、5月に「AIレコーダー」が発表されたときにポストしたものです。

出たーーーーーーーーーーーーー!
Power Automate が声と画面操作するだけで自動でRPA作っちゃいますよ機能「AI レコーダー」爆誕!!
しかもUI変わっても自動修復までしてくれちゃう!

ちゃんと日本語動画作っておきましたよ↓#MSBuild #PowerAutomate pic.twitter.com/m5eSuVVdiq

— よしだたいき | 高卒で??GAFAMエンジニア (@TaikiYoshidaJP) May 21, 2024

パブリックプレビューは現時点では米国の業務アカウントもしくは教育アカウントを対象として提供されます。米国以外での提供時期などは明かされていません。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Cygamesが「ウマ娘」「グラブル」背景イラストの展示会 VR展示は無料
イラスト・デザイン
2021-07-03 09:46
歯でジェスチャー入力 機械学習で13パターンを区別 コーネル大など「TeethTap」開発 :Innovative Tech(1/2 ページ)
トップニュース
2021-08-05 13:39
グーグル、生成AIで「Googleアシスタント」を改良へ
IT関連
2023-08-02 18:25
強力なL5バンドを使う次世代GPS対応の低コスト省エネ型チップ開発のOneNavが22.8億円調達、米政府系企業と開発契約
ハードウェア
2021-05-26 16:05
複業マッチングプラットフォーム「Another works」が1.6億円調達、AI技術活用しプロダクトの機能拡充
HRテック
2021-04-17 12:18
IIJ、バックボーンと対外接続に国内初の400GbEを採用
IT関連
2023-07-06 09:55
ペット業界向け求人情報・広告媒体や往診専門動物病院など展開するTYLが累計5.6億円のシリーズA調達
ネットサービス
2021-08-18 12:04
通信建設からSIerを経てDX企業に変わる–NECネッツエスアイの牛島社長
IT関連
2022-08-03 10:32
NEC、DX推進人材の育成プログラム提供–懸念される「リテラシー格差」に対応
IT関連
2023-02-03 14:46
リクルート、最大10万IDが利用可能な次期汎用ワークフロー基盤を構築
IT関連
2022-09-30 16:45
Windows向け緊急パッチ、「Microsoft 365」などにサインインできない問題に対処
IT関連
2022-06-24 00:41
リコー、360度カメラ「THETA」新製品–GPSを内蔵、不動産や建設に焦点
IT関連
2022-04-01 22:34
Slack内にSREのインシデント管理ソリューションを構築する「Rootly」
ソフトウェア
2021-07-11 04:17
「体験管理は新しいソフトウェアカテゴリー」–クアルトリクス幹部に聞く
IT関連
2023-05-10 07:21