話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech

話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech サムネイル
話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech 画像1
話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech 画像2
話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech 画像3
話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech 画像4
話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech 画像5

今回は「話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発 :Innovative Tech」についてご紹介します。

関連ワード (提示、誤認識、音声内容等) についても詳細と、関連コンテンツとをまとめていますので、参考にしながらぜひ本記事について議論していってくださいね。

本記事は、It Media News様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 筑波大学 デジタルネイチャー研究室のチームが開発した「」は、話者の音声を自動でテキスト変換し、相手との間に設置した透明ディスプレイに字幕をリアルタイム表示する聴覚障害者向けシステムだ。1対1の対面コミュニケーションにおいて、相手の表情やボディーランゲージを確認しながら自然体でやりとりできる。

 計算機によって多様性を実現する社会に向けた超AI基盤に基づく空間視聴触覚技術の社会実装を目指す「xDiversity」プロジェクトの一環だ。

 聴覚障害者との対面コミュニケーションにおいて、最も一般的な手段は手話だが、近年はスマートフォンやARシステムを活用して相手に話し言葉を字幕として提示できる自動音声認識のリアルタイムキャプションが利用されるようになってきた。

 しかし、スマートフォンを見たり、見せたりしていると、相手のボディーランゲージや表情、アイコンタクトなどの非言語コミュニケーションを見落としがちだ。また、ARシステムを用いた手法だと、話者が自動音声認識の誤認識を確認できないことが円滑なコミュニケーションの妨げとなる。

 これらの問題点を解決するために、今回は透明ディスプレイを利用し、会話中に相手を見ながら自動音声認識結果を確認できるリアルタイムキャプションシステムを開発した。1対1の対面時に限定されるが、自動音声認識の誤認識や相手の非言語コミュニケーションの見落としを防ぎながら会話できる。

 システムの主な機能は、自動音声認識と字幕表示の2つだ。音声入力装置として指向性マイクを使用し、透明ディスプレイ前の話者の音声を入力に、その音声を自動音声認識を介してテキストに変換、音声認識結果のテキストを透明ディスプレイにリアルタイムで表示する。

 表示される文字は、サイズ、色、透明度、フォントなどユーザーが自由に変更できる。今後は、文字表示速度、行数、消失速度などのパラメーターも設計したいという。

 特筆すべきは、相手に大きな字幕が表示される一方で、話者にも同じ字幕がこちらが読めるように反転し小さな文字で表示されていること。これにより話者もリアルタイムで自動音声認識による変換を確認でき、誤認識にもすぐに気付ける。

 聴覚障害者と対話者は、双方が相手の非言語コミュニケーションを読み取り、字幕で音声内容や誤認識を理解しながら円滑な意思疎通が行える。

 スーパーマーケットから役所まであらゆる場所で飛沫防止用透明パネルが設置されているコロナ禍においては、今回のシステムとの相性も良く、導入も考えられるだろう。

 一方、聴覚障害者の手話や文字による発言を聴者がどのようにして受け取るか、文字よりも手話を好む聴覚障害者への情報提示方法などは、検討の余地がある。

Copyright © ITmedia, Inc. All Rights Reserved.

台湾新幹線の新車両、日本側の提示価格高騰で破談 「日台 ...

日本の新幹線技術を海外で初めて採用し「台湾新幹線」とも呼ばれる台湾高速鉄道(高鉄)は20日の役員会で、日本側と交渉していた新車両の導入案件を取り消すと発表した。…

ありが10デー|お得情報 優待・特典|イオンリテール株式会社

毎月10日は、ありが10デー。各種イオンマークのついたイオンカードとWAON POINTカードのご利用・ご提示(お預かり)、または電子マネーWAONのお支払いで、基本のポイント5倍!

Tサイト[Tポイント/Tカード]

TポイントとTカードの総合サイトです。全国のTポイントが貯まる・使えるお店のクーポンやキャンペーンなどのお得情報が満載。ゲームやプレゼントでポイントが貯まります。貯まったポイントを様々な商品に交換もできます。

デジタル教科書・教材 | 光村図書出版

光村図書出版のウェブサイト。小学校・中学校・高等学校の教科書,デジタル教科書の情報や,授業・教材研究に役立つコンテンツ,連載コラムを掲載しています。

www.ivpn.hit.edu.cn

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

github.com

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

中3生徒が「担任に人生壊された」と残し自殺…裁判所提示の ...

 · 中3生徒が「担任に人生壊された」と残し自殺…裁判所提示の和解案を市が拒否 両親が市に損害賠償求める 12月24日 17:58 愛知県一宮市の男子中学生が自殺し、両親が市に損害賠償を求めている裁判で、裁判所が提示した和解案を一宮市が拒否、和解は成立しませんでした。

歡迎來到TT1069男男貼圖交友區

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

Twitter

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

凤凰网财经-离用户最近的财经媒体-凤凰网 - 每日提示

每日提示 新股申购 停复牌 限售解禁 每日公告 代码 证券简称 申购日期 发行量 (万股) 网上发行量 (万股) 发行价格 (元) 市盈率 募集资金 (亿) 605086 ...

COMMENTS


12161:
2021-03-24 23:12

 景子さんが、電動歯ブラシかマッサージ器を買ったと誤認識した話は、こちらに書けばいいんでしょうか??(いや、書かなくて良いから)

12157:
2021-03-24 22:51

炎さんの手に掛かって消えた者達の名前と顔は全員一致してるけど皮肉にも博士だけは誤認識してた(幻覚)だったら最高

12154:
2021-03-24 20:40

話した言葉を透明パネルに字幕表示 筑波大、「See-Through Captions」開発  話者の音声を自動文字変換し相手との間に設置の透明ディスプレイに字幕をリアルタイム表示。聴覚障害者用技術。自分…

12159:
2021-03-24 17:01

加熱式たばこ「受動喫煙の心配なし」は大きな誤解(朝日新聞) 「誤認識により、加熱式ならOKという飲食店の出現や、家庭の喫煙場所の屋内回帰が起き、気付かないうちに発がん物質を含むエアロゾルにさらされる場所が増えています。」…

12155:
2021-03-24 14:13

APEX なんかNVIDIAをアンチチートツールが誤認識してプレイできないんだけど?

12156:
2021-03-24 12:01

多分回し続けた結果パーツが削れてできた白い粉であると思われます。 銃口逆回転させて誤認識で遊んでたのが原因なのかはわかんないのでしばらく控えてみます

12158:
2021-03-24 05:09

どうやら魔力感知を習得してたと誤認識してたようだな、うむ

12160:
2021-03-24 03:30

ご返信頂き、ありがとうございます。 いえ、こちらこそ誤認識しており、申し訳ございませんでした。 そうしましたら、K賞、J賞は寮単位で(計12点)買取させていただいてもよろしいでしょうか? 引き続き、ご検討の程宜しくお願い致します。

12162:
2021-03-24 02:54

静岡県の実証事業「顔認証決済」を試してみた👀 自分の顔がクレジットカードに!マスク着用でも瞬時に認識してくれて、とても精度が高いです。 決済時には店員の確認が入るので、誤決算や悪用されることもありません🙆‍♀️ 舘山寺周辺店舗で利用可能なので、…

12153:
2021-03-24 02:36

amazonで非純正のディスプレイ取り寄せて使ってたけど、割れたから販売店から再度取り寄せて取り替えたらハズレですぐにストライプ出て触ってもいないのに誤認識。返品可能なようなので返品して、新しいの取り寄せたらまた同じ症状。もう本体買い替えます、、、

Recommended

TITLE
CATEGORY
DATE
ビデオチャット機能をWeb・モバイルアプリへ容易に追加できる「WebRTC」が標準仕様に
IT関連
2021-02-04 15:53
複数の事業体を運営する中堅企業向け財務管理ソフトウェアのAccountsIQが約7.4億円を調達
ソフトウェア
2021-02-22 16:42
「マリオオデッセイ」「ゼノブレイド2」など30%オフ Switch春セール、3月5日から
くらテク
2021-03-04 19:45
NASAの探査機、火星に着陸 地表のフルカラー画像公開 火星に自分が立った画像を生成するWebアプリも
最近の注目ニュース
2021-02-23 15:16
MSCHFがSpotにリモコン式ペイントボール銃搭載、ボストン・ダイナミクスは嫌な顔
ロボティクス
2021-03-21 09:03
米下院はGameStop問題でオンライン株取引サービスの公聴会実施へ
フィンテック
2021-01-30 10:13
日本サニパック、インドネシア工場に「NEC 遠隔業務支援サービス」導入
IT関連
2021-03-31 00:39
Vue.js入門 基礎から実践アプリケーション開発まで
amazon
2021-03-31 00:39
真のキャッシュレス社会実現のために必要な5つの改革
フィンテック
2021-01-12 17:08
Facebookは「Stop the Steal(選挙泥棒を止めろ)」関連投稿を全面排除の方向へ
ネットサービス
2021-01-13 17:12
口座振替の登録処理をAI-OCRで自動化–UiPathとコージェントラボが無償支援
IT関連
2021-03-22 12:05
Slackで制作過程をオープンに formrun・Brianさんがサービス開発におけるコミュニケーションを語る
IT関連
2021-04-16 02:54
AWSのアジアパシフィック(大阪)リージョンが開設、ローカルリージョンから拡張
IT関連
2021-03-03 15:45
いまさら聞けない話題の音声SNS「Clubhouse」のどぎまぎしない使い方
ネットサービス
2021-02-02 05:32
2021年に注目したいマイクロソフトのテクノロジー5選
IT関連
2021-01-15 11:12
知識ゼロからのプログラミング学習術 独学で身につけるための9つの学習ステップ
amazon
2021-01-15 11:12