視覚障がい者向けの触覚ディスプレイ「Dot Pad」

今回は「視覚障がい者向けの触覚ディスプレイ「Dot Pad」」についてご紹介します。

関連ワード （米国政府、要求、読書等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

点字は視覚障がい者に広く利用されているが、ウェブやスマートデバイスのアクセシビリティが幅広く向上しているにもかかわらず、点字読書器のハードウェアの技術革新は基本的に滞っている。今回Dot（ドット）が開発したスマート点字デバイスは、文字を表示するだけでなく、画像を触覚で表現することができる。このことは教育や利用できるコンテンツにまったく新しい層を開く可能性がある。

同社のDot Pad（ドットパッド）2400本のピンが画素のように並んでおり、それらをすばやく上下させることで、点字文字や識別しやすい図形をかたち作ることができる。300文字分の点字表示領域を持ち、下部には20文字が表示できる従来のような直線領域がある。重要なことは、このデバイスがApple（アップル）の画面読み上げ機能VoiceOver（ボイスオーバー）に直接統合されていることで、この結果テキストやアイコンラベル、さらにはグラフや単純な画像をタップするだけで読み上げられるようになっていることだ。

韓国を拠点とする同社は、共同創業者のKi Kwang Sung（キ・クワン・ソン）氏とEric Ju Yoon Kim（エリック・ジュー・ユン・キム）氏によって創業された。彼らはコンピューターやインターフェースがこれだけ進化しているにもかかわらず、学習や読書のための選択肢がないことにうんざりしていたのだ。

デジタル点字ディスプレイはこれが初めてではない。このようなデバイスは何十年も前から存在していたが、その台数も機能も明らかに限られていた。デジタル文字を読むための点字ディスプレイが一般的だが、これは長年変わっていない古くさく不格好な1行表示機械で、他のやはり古くさいソフトウェアやハードウェアに依存したものであることが多い。

また、一般にこれらの機器は、子どもや学習を意識して作られていない。視覚障がいのある子どもたちは、教科書がなかったり、視覚障がいを考慮した活動が行われていないなどの、多くの社会的ハンディキャップに晒されている。そのため、ある子どもの両親は、幼児レベルで点字を教えることができる玩具BecDot（ベックドット）を開発した。

ソン氏は「21世紀にもなって、視覚障がい者がグラフィカルな情報にデジタルな手段でアクセスできないのはおかしなことです」という。「教育、仕事、ソーシャルネットワークサービスなど、あらゆる業界でさまざまなイノベーションが起こり、グラフィック情報の要求が高くなっています。しかしそれが意味していることは視覚障がい者の切り捨てです。パンデミックの状況でも、障がい者のためのリモートワークや教育手段は必須だったのですが……そのためのソリューションがなかったのです」。

そこで2人は、一般人が当たり前のように使っているピクセルベースの画像や表現に、視覚障がい者がアクセスし、操作できるようなモニターを作ろうと考えたのだ。

画像クレジット：Dot

点字リーダーは一般に、ピンを必要に応じて上下させるために何百もの小さなヒンジとギアに依存しているので、非常に複雑な機械だ。また、継続的に触れることによる圧力に耐えられるような頑丈さも必要だ。これまでにも、権威ある研究機関からさまざまなイノベーションが生まれていたものの、実際に市場に出たものはなかった。Dotは、より優れた高性能のハードウェアを提供するだけでなく、スマートフォンやタブレット端末とのより深い連携によって、すべてを変革しようとしている。

Dot Padの革新性の核となるのは、やはり「ドット」そのものだ。この小さなピン（点字1文字につき6本）を何十本、何百本と、いかに確実に、すばやく（大きな音を立てずに）伸縮させるかにに対して、さまざまな解決策が生み出されてきたが、Dotのものはまったく新しい解だ。

画像クレジット：Dot

ソン氏は「スピーカーのメカニズムから発想しました」と説明する。彼らは、スマートフォンのスピーカーを振動させている小さな電磁アクチュエーターを、ピンの上下に利用することした。上下の位置で簡単にロックでき、すばやくロックを解除して引っ込めることができる磁気ボールローターを採用している。全体の大きさは、これまでの機構の数分の一で「既存の圧電点字アクチュエーターに比べて、10分の1ほどです」とソン氏はいう（Dotは、その仕組みを示す概略図やピンの断面図を私には見せてくれたが、それらを一般に公開することは拒否した）。

つまり、文字として読める大きさでありながら、画像を表すパターンを形成するのに十分な密度を持つピンを、わずかな間隔で何千本も並べたグリッドを作ることができたのだ。ドットパッドの下部には、伝統的な点字のための専用セクションがあるものの、メインのグリッド側は何よりも「触覚ディスプレイ」と表現した方がよいだろう。

私は量産前の試作機で遊ぶことができたが、それは非常にうまく機能し、画面全体を上から下へと約1秒でリフレッシュし（これも現在改善されていて、アニメーションも可能になりつつある）、ユーザーの手で容易にスキャンできるように思えた。どちらのディスプレイも、ピンの保護スクリーンを採用していて、簡単に交換することができる。ピンユニットそのものも簡単に交換できる。

Dotのもう1つの大きなアドバンテージは、Appleとの協力だ。Dot Padは、ジェスチャーで起動することが可能で、ハイライトされたものを瞬時にディスプレイ上に表示することができる。以下の動画で、その様子を見ることができる。

そして、iOS 15.2には開発者向けの新しい「触覚グラフィックスAPI」が用意されていて、アプリはこの機能を取り入れたり微調整したりできるようになっている（私はこのAPIについてAppleにコメントを求めたので、もし返信があればこの記事を更新する）。

キム氏は「世界中の多くの視覚障がい者がiPhoneやiPadを利用していますが、これは業界をリードする画面読み上げソフトVoiceOverのおかげです」という。「Dotの触覚技術がVoiceOverに最適化されたことで、デジタルアクセシビリティが拡大することを大変うれしく思っています。音声や文字として点字を超えて、ユーザーのみなさんが映像を感じ、理解を高めることができるようになりました」。

もちろん忠実度という意味では制約されているものの、アイコンや線画、グラフなどをうまく表示することができる。例えば、株の記事の中のグラフを想像して欲しい。目の見える人なら一目で理解できるが、そうでない人は、VoiceOverに組み込まれた、グラフを上昇と下降の音で表現するような、別の方法を見つけなければならない。ないよりはましだが、理想的でないことは確かだ。Dot Padは、VoiceOverと独自の画像解析アルゴリズムにより、ディスプレイ上の任意の画面領域や要素を表現しようとする。

文字も、1ページ分の点字（通常のように間隔をあけて並べる）か、文字そのものの形で表現することができる。これにより、ロゴの書体などをよりよく理解することができる（点字には当然セリフ［文字の端にある小さな飾り］はない）。実際、大型の活字を触感を使って体験するというのは、なかなか面白そうだ。

画像クレジット：Dot

さらに大切なのは、子どもたちにとってすばらしい材料となることだ。視覚障がいのある子どもは多くのことを見落としているが、Dot Padを使えば他の人たちが当たり前と思っている家や猫などの文字や形、単純なイメージなどを簡単に描くことができるようになる……視覚障がい者のコミュニティにおけるK-12教育（幼稚園から高校までの教育過程）に新たな変革が加わる可能性があるのだ。

これはもちろん、一般的なデバイスと密接に連携できるおかげだ。つまり特殊な状況だけで使えるリソースというわけではない。iPhoneやiPadは、現代のデジタル機器としてユビキタス（普遍的）なだけでなく、Dotが活用できる強固なアクセシビリティ機能群を備えている。

もちろん、音声を使ったインターフェースが大幅に改善されたことは、グラフィカルなインターフェースを使えない人々にとって非常に大きな力となったことは事実だが、特に読書や学習の場面ではいまでも点字が重要な選択肢であることに変わりはない。技術によって機会が阻害されることがないように、こうした手法はさらに 改善されなければならない。

コミュニティからのフィードバックは好意的であるという。ソン氏は「みなさん限界よりも可能性を中心に考えていらっしゃいます」という。彼らは早い段階から、画像のレンダリングを改善するために「ピクセル」数を増やしており、Dot Padに適したカスタムグラフィックスのライブラリに取り組んでいる。このため、たとえばTwitterのロゴがソフトウェアに認識された際に、毎回輪郭をスキャンするのではなく、代わりに独自のバージョンを使うことができる。

Dotは、2023年にローンチ予定のAmerican Printing House for the Blind（盲人のための米国印刷協会）とHumanWare（ヒューマンウェア）が率いるDynamic Tactile Device（動的触覚デバイス）プロジェクトで、その中核技術を利用できるようにする予定だ。開発者コミュニティにはAPIの経験に対する議論に加わる機会がある。

画像クレジット：Dot

将来の機能計画には、写真の触覚表現が含まれている。必ずしも画像そのものではなく、レイアウト、人物の位置と説明、その他の情報がディスプレイに表示される可能性がある。また、ピンを中間の高さで固定し、手触りのグラデーションなどに利用する方法も研究している。また、パッドは表示だけでなく、入力としても使える可能性がある。ピンを押して、画面の適切な部分にタッチ信号を送ることができれば、また別の便利な機能となるだろう。

もちろん、これまでの点字ディスプレイと同様、Dot Padも安くはないし、シンプルでもない。しかし、他の類似製品よりは安くてシンプルとなる可能性はある。製造や組み立ては簡単なことではないし、特に今はチップやその他の部品の価格が高騰しているため、トータルコストは口にしにくい（主に自動車の窓のコントロールスイッチに使われていた小さなICを数千個使っており、今その価格は高騰している最中だ）。

幸いなことに、これこそ誰もお金を払う必要のない機器であり、補助金などの制度も数多く用意されている。子どもたちは学校で使う机のような、どうしても必要なものにお金を払う必要はない。そして、障がい者が良い教育を受けられるようにすることは、すべての人の利益につながる。アクセシビリティの向上は、それ自体ももちろん歓迎すべきことだが、これまで学べなかった人、参加できなかった人が、ようやく仕事に参加できるようになるという大きな連鎖反応があるのだ。

Dotの創業者たちは、韓国政府や米国政府、盲人社会、支援団体と協力し、Dot Padをカリキュラムに組み入れ、既存の資金や方法を使って費用を賄っているという。触覚グラフィックスAPIの詳細については、こちらおよびAppleの開発者向けサイトで確認できる。

画像クレジット：Dot

【原文】

Braille is widely used by people with vision impairments, but despite widespread improvements to accessibility on the web and smart devices, innovation for braille-reader hardware has essentially been stalled. Dot has taken a huge step forward with a smart braille device that not only allows for easy display of text, but tactile representations of imagery, potentially opening an entirely new layer for education and accessible content.

The Dot Pad consists of 2,400 pins in a pixel-like grid that can quickly be set to be in up or down positions, forming letters in braille or easily identifiable shapes. That’s room for 300 braille glyphs, plus 20 more in a more traditionally spaced line below. Crucially, the device also integrates directly into Apple’s VoiceOver screen reading feature, making reading text, icon labels and even graphs or simple images just a tap away.

The company, based in Korea, was formed when co-founders Ki Kwang Sung and Eric Ju Yoon Kim found themselves fed up with the lack of options for learning and reading despite so many other advances in computing and interfaces.

This isn’t the first digital braille display by a long shot — devices like this have existed for decades, but they’ve been decidedly limited in both quantity and capability. Most commonly you’ll find braille displays for reading digital text, but these are often clunky old one-line machines that haven’t changed in many years, and rely on other legacy software and hardware.

These devices are also generally not created with kids and learning in mind. Children with visual impairments are subject to a number of systematic disadvantages, such as a lack of textbooks or activities created with them in mind. It’s this lack that led the parents of one such kid to create the BecDot, a toy that helps teach braille at the toddler level.

“In the 21st century, it didn’t make sense that visually impaired people cannot access graphical information in a digital way,” said Sung. “There are a lot of innovations out there in every industry, including education, jobs and social network services… the requirement of graphical information is getting higher, which means visually impaired people are getting cut off. Even in the pandemic situation, remote work and education was mandatory… but they didn’t have any solution to do that.”

They decided to make a monitor to allow blind and low-vision users to access and interact with the pixel-based images and representations sighted people take for granted.

Image Credits: Dot

Braille readers are generally extremely complex mechanically, relying on hundreds of tiny hinges and gears to raise and lower the pins on demand — and they must also be robust enough to withstand constant pressure from touching. We’ve seen various innovations over the years from prestigious research institutions, but none have really made it to market. Dot is trying to change all that with not just better, more capable hardware but also deeper integrations with smartphones and tablets.

The core innovation of the Dot Pad is, as you might expect, the “dot” itself. How to make dozens or hundreds of these little pins (6 per braille letter) extend and retract reliably and quickly (and not too loudly) has produced a variety of solutions, but Dot’s is entirely new.

Image Credits: Dot

“We got the idea from the mechanism of speakers,” Sung explained. The tiny electromagnetic actuator vibrates in smartphone speakers but the team adapted it to move a pin up and down instead, using a magnetic ball rotor that locks easily in the up or down position and can unlock and disappear quickly. The whole thing is a fraction of the size of previous mechanisms — “10 times smaller compared to existing piezoelectric braille actuators.” (Dot privately showed me schematics and cutaways of the pins that showed how it’s done, but declined to share those publicly.)

This means the company was able to create a grid of thousands of pins with very little space between them, big enough to be read as letters but also dense enough to form patterns representing images. The bottom of the Dot Pad has a dedicated section for traditionally spaced braille but the main grid is better described as a “tactile display” than anything else.

I got to play with a pre-production prototype device and it worked very well, refreshing the whole screen in about a second from top to bottom (this is being improved as well, to the point where animation is a possibility) and seemed readily scannable by a user’s hand. Both displays have a flexible protective screen that prevents the pins from getting gummed up and can easily be swapped out. The cells themselves are easily replaced as well.

The other big advantage Dot has is its collaboration with Apple. The Dot Pad can be invoked with a gesture, instantly showing whatever the highlighted item is on the display. You can see the process in action in the video below:

And there’s a new “tactile graphics API” for developers in iOS 15.2 that will let them include and tweak this capability in their apps. (I’ve asked Apple for comment on the API, and will update this post if they reply.)

“Many blind/low-vision users around the world rely on iPhone and iPad, due to the industry-leading screen-reader VoiceOver,” said Kim. “We are very excited that Dot’s tactile technology is now optimized for VoiceOver, and that this will expand digital accessibility. Beyond speech or literary braille, these users can now feel and improve their understanding of images.”

Obviously the fidelity is somewhat limited, but it can display icons, line drawings and things like graphs very well. Imagine a graph in an article about stocks — sighted people can take it in at a glance, but others must find other ways, like the one built into VoiceOver that represents the graph as a sort of rising and falling tone. Better than nothing, but definitely not ideal. The Dot Pad, powered by VoiceOver and its own image analysis algorithms, will attempt to represent any screen area or element on the display.

Text can also be represented, either as a full page of braille letters (arranged in spaced rows like normal) or as the shapes of the letters themselves. This allows the user to better appreciate things like typefaces in logos — there are no serifs in braille, naturally. Actually, it sounds quite interesting to experience large-scale type in that tactile way.

Image Credits: Dot

More importantly, though, this is a great resource for kids. A child growing up with a visual impairment misses out on a lot, and being able to easily illustrate things like letters, shapes and simple images others take for granted like houses, cats and so on… it’s potentially a game changing addition to K-12 education in the blind community.

Part of that is of course close integration with the most common devices out there, so it isn’t just a resource someone has under very specific circumstances. The iPhone and iPad are not just ubiquitous as modern digital devices go, but also have a robust accessibility stack that Dot has tapped into.

Of course the vast improvement to voice-powered interfaces has been immensely empowering for people who can’t use graphical interfaces, but braille remains an important option, especially for reading and learning. All these modalities and more must be improved so that opportunity is not bottlenecked by technology.

Feedback from the community has been positive; Sung said people have mainly been thinking about the possibilities rather than the limitations. But from the early stages they did increase the “pixel” count to better render images, and they’re working on a library of Dot Pad-friendly custom graphics so that if, for example, the Twitter logo is recognized by the software, it can just use its own version rather than scanning the outline every time.

Dot will be making their core tech available for an upcoming Dynamic Tactile Device project led by the American Printing House for the Blind and HumanWare, slated to be launched in 2023; the developer community will have a chance to weigh in based on their experience with the API.

Image Credits: Dot

Future feature plans include tactile representations of photos — not necessarily the images, but the layout, the positions and descriptions of people, and other aspects could be put on the display. They’re also working on a way to lock the pins at middle heights, for gradations in feel and other uses. And potentially the pad could be used as input as well as display — being able to press down on the pins to send a touch signal to the appropriate part of the screen would be yet another useful feature.

Of course, like previous braille displays, the Dot Pad is neither cheap nor simple — though it’s potentially cheaper and simpler than others out there. Manufacturing and assembly is no easy task, and the total cost is difficult to say, especially with inflated prices for chips and other components right now. (It uses thousands of tiny ICs that previously were mainly used for car window control switches — and prices right now are through the roof.)

Fortunately, this is exactly the type of device that no one should have to pay for, and for which there are numerous subsidy and other programs. After all, kids don’t have to pay for necessary items like the desks they use at school. And helping people with disabilities get a good education is in everyone’s interest. Better accessibility is of course welcome for its own sake, but it has major knock-on effects, as people who couldn’t learn or participate in an industry finally get a chance to.

Dot’s founders noted that they’re working with the Korean and U.S. governments, as well as the blind community and advocacy organizations to integrate the Dot Pad with curricula and use existing funds and methods to pay for them. Developers can learn more about the tactile graphics API here and at Apple’s developer site here.

（文：Devin Coldewey、翻訳：sako）