[速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表

今回は「[速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表」についてご紹介します。

関連ワード (一連、人間、開発等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、PCに話しかけながら画面を操作するだけでRPAフローを自動生成してくれる、Power Automateの新機能「AIレコーダー」を発表しました。

ower Automateの新機能「AIレコーダー」を発表

人間に操作を教えるように、AIに話しながら操作

これまでRPAフローを作成する方法として、マウスやキーボードなどの操作を記録することで基本的なRPAフローを作成することが可能でした。

今回発表された新機能「AIレコーダー」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳しくAIに伝えます。

これにより、より柔軟性があり完成度の高いRPAフローをAIが作成してくれるのです。

以下はデモ動画の内容をキャプチャしたものです。

ユーザーは「Outlookを起動して添付ファイルのあるメールを選ぶ」と話しながら画面操作をします。

fig

さらに、「添付ファイルの請求書を開き、社名と連絡先、日付、合計金額をコピー」と話しながら操作。

fig

「請求管理アプリケーションに、それらをペーストする」と、操作を続けます。

fig

操作を終えると、マウスの動きやキーボードの入力内容と同時に音声もAIによって解析されます。そして、説明された意図に沿ったRPAフローが自動生成されるのです。

fig

米マイクロソフトのPrincipal Program ManagerでPower Platformの開発に携わるよしだたいき氏が、X/TwitterのポストでこのAIレコーダーについて日本語訳付きの動画で紹介しています。

出たーーーーーーーーーーーーー!
Power Automate が声と画面操作するだけで自動でRPA作っちゃいますよ機能「AI レコーダー」爆誕!!
しかもUI変わっても自動修復までしてくれちゃう!

ちゃんと日本語動画作っておきましたよ↓#MSBuild #PowerAutomate pic.twitter.com/m5eSuVVdiq

— よしだたいき | 高卒で??GAFAMエンジニア (@TaikiYoshidaJP) May 21, 2024

Microsoft Build 2024

  • [速報]GitHub Copilot extensions発表。CopilotがDockerやAzureなどサードパーティの専門家へ拡張、プログラマの質問に答えてくれる
  • [速報]マイクロソフトが「Team Copilot」発表。生成AIが会議のファシリテーターやプロジェクト管理を実行
  • [速報]マイクロソフト、自律型AIソフトウェアエンジニア「Devin」のCognition AIと提携を発表。Azure上でDevinを提供へ
  • [速報]Microsoft Copilotを誰でもカスタマイズして共有できる新機能を発表
  • [速報]マイクロソフト、Copilotを一連のタスクを自律的に実行できる「エージェント」へと拡張。受注したら在庫確認して顧客へ発送などが可能に
  • [速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表
  • [速報]マイクロソフト、独自Armプロセッサ「Cobalt」を用いた仮想マシンをAzureでプレビュー公開開始

COMMENTS


Recommended

TITLE
CATEGORY
DATE
コスモエネルギーHD、データブリックスのデータ活用基盤でDXを加速
IT関連
2024-06-01 05:08
AWS、シムシティのように都市などの大規模3Dシミュレーション演算をクラウド上で可能にする「AWS SimSpace Weaver」発表。AWS re:Invent 2022
AWS
2022-12-01 11:17
トランスコスモス、新型コロナワクチンの問い合わせ専用チャットボットを構築
IT関連
2021-02-16 02:28
Google、TensorFlowとマイコンを使ったコンテスト開催 5人に2500ドルの賞金用意
企業・業界動向
2021-05-22 23:56
デロイト、中央大サッカー部・バスケ部と共同研究–データ分析で競争力向上を支援
IT関連
2022-07-06 18:53
AIドリブンへの転換を支援するdotDataの次の一手
IT関連
2021-07-05 18:47
PDFやWord、Excelファイルを読み込み、レイアウトなどはそのまま内容だけを翻訳。Google Translation APIに新機能
Google
2021-05-13 09:20
Ziddyちゃんの「私を社食に連れてって」:UiPathでお好みのランチをデリバリー編
IT関連
2024-12-21 13:01
イスラエル企業QuaDreamが閉鎖か–「iOS」向け商用スパイウェアの開発元
IT関連
2023-04-19 10:50
「LINE WORKS」で朝会廃止–上越教育大附属小、教員間のコミュニケーションを最適化
IT関連
2024-05-21 13:39
攻撃的にならずに、攻撃的という印象を与えずに–ビデオ会議で意見を上手に話す
IT関連
2021-01-17 14:24
友達少ない社長が作った「人間関係をよくするアプリ」って?
くらテク
2021-04-21 15:50
丸紅、新本社にマスク対応ウォークスルー顔認証入退場システムを導入
IT関連
2021-06-09 15:52
第2回:米国SaaS業界のデータエコシステムがもたらす業務効率
IT関連
2022-06-30 21:57