話した言葉を透明パネルに字幕表示　筑波大、「See-Through Captions」開発 ：Innovative Tech

今回は「話した言葉を透明パネルに字幕表示　筑波大、「See-Through Captions」開発 ：Innovative Tech」についてご紹介します。

関連ワード （提示、誤認識、音声内容等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、It Media News様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　筑波大学 デジタルネイチャー研究室のチームが開発した「」は、話者の音声を自動でテキスト変換し、相手との間に設置した透明ディスプレイに字幕をリアルタイム表示する聴覚障害者向けシステムだ。1対1の対面コミュニケーションにおいて、相手の表情やボディーランゲージを確認しながら自然体でやりとりできる。

　計算機によって多様性を実現する社会に向けた超AI基盤に基づく空間視聴触覚技術の社会実装を目指す「xDiversity」プロジェクトの一環だ。

　聴覚障害者との対面コミュニケーションにおいて、最も一般的な手段は手話だが、近年はスマートフォンやARシステムを活用して相手に話し言葉を字幕として提示できる自動音声認識のリアルタイムキャプションが利用されるようになってきた。

　しかし、スマートフォンを見たり、見せたりしていると、相手のボディーランゲージや表情、アイコンタクトなどの非言語コミュニケーションを見落としがちだ。また、ARシステムを用いた手法だと、話者が自動音声認識の誤認識を確認できないことが円滑なコミュニケーションの妨げとなる。

　これらの問題点を解決するために、今回は透明ディスプレイを利用し、会話中に相手を見ながら自動音声認識結果を確認できるリアルタイムキャプションシステムを開発した。1対1の対面時に限定されるが、自動音声認識の誤認識や相手の非言語コミュニケーションの見落としを防ぎながら会話できる。

　システムの主な機能は、自動音声認識と字幕表示の2つだ。音声入力装置として指向性マイクを使用し、透明ディスプレイ前の話者の音声を入力に、その音声を自動音声認識を介してテキストに変換、音声認識結果のテキストを透明ディスプレイにリアルタイムで表示する。

　表示される文字は、サイズ、色、透明度、フォントなどユーザーが自由に変更できる。今後は、文字表示速度、行数、消失速度などのパラメーターも設計したいという。

　特筆すべきは、相手に大きな字幕が表示される一方で、話者にも同じ字幕がこちらが読めるように反転し小さな文字で表示されていること。これにより話者もリアルタイムで自動音声認識による変換を確認でき、誤認識にもすぐに気付ける。

　聴覚障害者と対話者は、双方が相手の非言語コミュニケーションを読み取り、字幕で音声内容や誤認識を理解しながら円滑な意思疎通が行える。

　スーパーマーケットから役所まであらゆる場所で飛沫防止用透明パネルが設置されているコロナ禍においては、今回のシステムとの相性も良く、導入も考えられるだろう。

　一方、聴覚障害者の手話や文字による発言を聴者がどのようにして受け取るか、文字よりも手話を好む聴覚障害者への情報提示方法などは、検討の余地がある。

Copyright © ITmedia, Inc. All Rights Reserved.

台湾新幹線の新車両、日本側の提示価格高騰で破談 「日台 ...

日本の新幹線技術を海外で初めて採用し「台湾新幹線」とも呼ばれる台湾高速鉄道（高鉄）は２０日の役員会で、日本側と交渉していた新車両の導入案件を取り消すと発表した。…

ありが10デー｜お得情報 優待・特典｜イオンリテール株式会社

毎月10日は、ありが10デー。各種イオンマークのついたイオンカードとWAON POINTカードのご利用・ご提示(お預かり)、または電子マネーWAONのお支払いで、基本のポイント5倍！

Tサイト[Tポイント/Tカード]

TポイントとTカードの総合サイトです。全国のTポイントが貯まる・使えるお店のクーポンやキャンペーンなどのお得情報が満載。ゲームやプレゼントでポイントが貯まります。貯まったポイントを様々な商品に交換もできます。

デジタル教科書・教材 | 光村図書出版

光村図書出版のウェブサイト。小学校・中学校・高等学校の教科書，デジタル教科書の情報や，授業・教材研究に役立つコンテンツ，連載コラムを掲載しています。

www.ivpn.hit.edu.cn

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

github.com

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

中3生徒が「担任に人生壊された」と残し自殺…裁判所提示の ...

 · 中3生徒が「担任に人生壊された」と残し自殺…裁判所提示の和解案を市が拒否 両親が市に損害賠償求める 12月24日 17:58 愛知県一宮市の男子中学生が自殺し、両親が市に損害賠償を求めている裁判で、裁判所が提示した和解案を一宮市が拒否、和解は成立しませんでした。

歡迎來到TT1069男男貼圖交友區

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

Twitter

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

凤凰网财经-离用户最近的财经媒体-凤凰网 - 每日提示

每日提示 新股申购 停复牌 限售解禁 每日公告 代码 证券简称 申购日期 发行量 (万股) 网上发行量 (万股) 发行价格 (元) 市盈率 募集资金 (亿) 605086 ...