画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー

今回は「画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」がパブリックプレビュー」についてご紹介します。

関連ワード (実現、画面上、自動等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


マイクロソフトは米ラスベガスで現地時間9月18日から20日まで開催したイベント「Power Platform Community Conference」でPower Automateの新機能として、ユーザーが画面に話しかけながら操作すると生成AIがRPAフローを自動生成する「Record with Copilot in Power Automate Desktop」のパブリックプレビューを開始すると発表しました。

Record with Copilot in Power Automate Desktop

この機能は、今年(2024年)5月に開催されたイベント「Microsoft Build 2024」で、Power Automateの新機能「AIレコーダー」として発表されていたものです。

参考:[速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表

まるで人間がマウスやキーボードで操作するのと同じように、コンピュータ自身がアプリケーションを操作することで処理の自動化を実現するRPA(Robotic Process Automation)では、一般に人間によるマウスやキーボードなどの操作を記録し、それをなぞることで基本的なRPAフローを作成します。

しかしこのRPAフローは一般に画面上の位置やDOMツリーの位置などを基準として自動操作を実行しているため、アプリケーションのアップデートなどでボタンの位置が変わったり画面レイアウトの変更があった場合にはボタンやフォームなどを見失ってすぐに破綻してしまい、そのたびに人間が修正するといった手間が発生することが課題でした。

画面変更があっても生成AIが適切に対応できる

今回パブリックプレビューとなった「Record with Copilot in Power Automate Desktop」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳しく生成AIに伝えます。

これにより生成AIは単に画面上の位置やDOMツリーではなく、操作するボタンや画面フォームの内容を理解しつつ操作することを学習できるようになります。

すると画面レイアウトが変更されたとしても、その変更に対応した適切な操作を柔軟に行えるため、人間による修正がほとんど不要となり、つねに正確な操作が期待できます。

下記は米マイクロソフトのPrincipal Program ManagerでPower Platformの開発に携わるよしだたいき氏が、5月に「AIレコーダー」が発表されたときにポストしたものです。

出たーーーーーーーーーーーーー!
Power Automate が声と画面操作するだけで自動でRPA作っちゃいますよ機能「AI レコーダー」爆誕!!
しかもUI変わっても自動修復までしてくれちゃう!

ちゃんと日本語動画作っておきましたよ↓#MSBuild #PowerAutomate pic.twitter.com/m5eSuVVdiq

— よしだたいき | 高卒で??GAFAMエンジニア (@TaikiYoshidaJP) May 21, 2024

パブリックプレビューは現時点では米国の業務アカウントもしくは教育アカウントを対象として提供されます。米国以外での提供時期などは明かされていません。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
凸版とGMOブランドセキュリティ、模倣品対策におけるサービスで協業
IT関連
2023-04-25 23:14
5Gワゴン車で変える過疎地 Society 5.0社会の快適な暮らし
IT関連
2021-03-03 09:01
今こそAIへの投資を再開すべきとき ニューノーマル時代を見据え最新の高性能サーバで開発力強化を
PR
2021-04-29 00:26
第3回:情報セキュリティ担当者が知るべき、サイバーエクスポージャー管理のメリット
IT関連
2023-06-21 08:17
TIS、決済ソリューション基盤に「Oracle Exadata Cloud@Customer」を導入
IT関連
2024-04-18 07:29
オラクル、MySQLのインメモリーサービスに運用自動化機能を追加
IT関連
2021-08-12 08:51
「VMware vSAN Max」発表。コンピュートと独立したvSANストレージアレイのスケールが可能に。VMware Explore 2023
VMware
2023-08-24 03:24
故郷が「帰ってくるな」という夏休み、「バーチャル帰省」はアリ? :小寺信良のIT大作戦(1/2 ページ)
トップニュース
2021-08-11 00:51
JAL、パロアルトネットワークスでグループのセキュリティ対策を統合
IT関連
2025-03-01 21:57
NEC、ServiceNowの法務クラウドサービスを国内初導入–法務領域DXを加速
IT関連
2024-02-06 06:47
ZVC JAPAN、「Zoom Contact Center」を提供–迅速かつパーソナライズされた顧客対応を可能に
IT関連
2023-07-08 08:47
日本のゼロトラスト推進状況は28の国と地域中27位–トレンドマイクロ調査
IT関連
2023-05-11 13:31
デンソー、工機部門にデータ活用クラウドサービスを導入–設備製作業務を効率化
IT関連
2025-03-07 06:21
ブラウザの拡張機能で商品購入時のカーボンオフセットを提案するEcoCartが約3.3億円調達
EnviroTech
2021-04-14 05:20