画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー

今回は「画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー」についてご紹介します。

関連ワード (実現、画面上、自動等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


マイクロソフトは米ラスベガスで現地時間9月18日から20日まで開催したイベント「Power Platform Community Conference」でPower Automateの新機能として、ユーザーが画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」のパブリックプレビューを開始すると発表しました。

Record with Copilot in Power Automate Desktop

この機能は、今年(2024年)5月に開催されたイベント「Microsoft Build 2024」で、Power Automateの新機能「AIレコーダー」として発表されていたものです。

参考:[速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表

まるで人間がマウスやキーボードで操作するのと同じように、コンピュータ自身がアプリケーションを操作することで処理の自動化を実現するRPA(Robotic Process Automation)では、一般に人間によるマウスやキーボードなどの操作を記録し、それをなぞることで基本的なRPAフローを作成します。

しかしこのRPAフローは一般に画面上の位置やDOMツリーの位置などを基準として自動操作を実行しているため、アプリケーションのアップデートなどでボタンの位置が変わったり画面レイアウトの変更があった場合にはボタンやフォームなどを見失ってすぐに破綻してしまい、そのたびに人間が修正するといった手間が発生することが課題でした。

画面変更があっても生成AIが適切に対応できる

今回パブリックプレビューとなった「Record with Copilot in Power Automate Desktop」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳しく生成AIに伝えます。

これにより生成AIは単に画面上の位置やDOMツリーではなく、操作するボタンや画面フォームの内容を理解しつつ操作することを学習できるようになります。

すると画面レイアウトが変更されたとしても、その変更に対応した適切な操作を柔軟に行えるため、人間による修正がほとんど不要となり、つねに正確な操作が期待できます。

下記は米マイクロソフトのPrincipal Program ManagerでPower Platformの開発に携わるよしだたいき氏が、5月に「AIレコーダー」が発表されたときにポストしたものです。

出たーーーーーーーーーーーーー!
Power Automate が声と画面操作するだけで自動でRPA作っちゃいますよ機能「AI レコーダー」爆誕!!
しかもUI変わっても自動修復までしてくれちゃう!

ちゃんと日本語動画作っておきましたよ↓#MSBuild #PowerAutomate pic.twitter.com/m5eSuVVdiq

— よしだたいき | 高卒で??GAFAMエンジニア (@TaikiYoshidaJP) May 21, 2024

パブリックプレビューは現時点では米国の業務アカウントもしくは教育アカウントを対象として提供されます。米国以外での提供時期などは明かされていません。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
AIによる生産性向上と技術職の新たな役割–求められる「AI活用」能力
IT関連
2024-05-11 17:54
説明可能なAIを活用–富士通Japan、介護予防ソフトウェア発売
IT関連
2022-01-30 01:50
「インクルージョン」を諦めない–NECが進める、成長戦略としての“I&D”
IT関連
2022-08-24 21:57
Jenkins作者の川口氏が立ち上げた「Launchable」、CloudBees社による買収を発表。JenkinsベースのCI/CDプラットフォームにAI機能を統合へ
CI/CD
2024-08-09 21:05
組織ごとのセキュリティ対策では困難な時代に–トレンドマイクロが総括
IT関連
2024-01-11 23:59
NEC、複数拠点のIT機器監視を代行する新サービス
IT関連
2022-07-30 18:14
テスラやライバルのリビアらが団結しEVの直接販売法制定を目指す
モビリティ
2021-03-06 23:03
アドビがウェブ版AcrobatにPDF内のテキストと画像を編集する機能を追加
ネットサービス
2021-02-04 16:25
クラウド利用が環境に与える影響–再生可能エネルギーや電力効率への各社対策
IT関連
2023-03-15 13:54
完全バーチャルで開催されるGoogle I/O 2021に期待すること、Android 12、アシスタント、いくつかのハードウェア
イベント情報
2021-05-17 23:32
熱海の土石流災害、現場の3Dモデルを有志が公開 ドローン映像を基に作成
DX
2021-07-06 16:14
SOC大手のArctic Wolf、サイランス買収で日本市場に本格参入
IT関連
2025-02-28 12:58
パナソニックの保冷ボックス、4月からレンタル 保冷剤で低温を最大18日間保持 ワクチン輸送に活用
IT関連
2021-03-04 15:33
ウエスタンデジタルにセキュリティ侵害、被害状況はまだ不明
IT関連
2023-04-05 17:03