カメラではなくレーダーを使ったプライバシーが保護されたアクティビティ追跡の可能性をカーネギーメロン大学の研究者らが提示

今回は「カメラではなくレーダーを使ったプライバシーが保護されたアクティビティ追跡の可能性をカーネギーメロン大学の研究者らが提示」についてご紹介します。

関連ワード （アクティビティ、カーネギーメロン大学、プライバシー、レーダー、個人情報等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

部屋が最後に掃除されたのはいつか、ゴミ箱の中身がすでに捨てられたかをスマートスピーカーに問いかけることで、家庭内の争いを解決する（または蒸し返す）ことができる。そんな状況を想像してみて欲しい。

あるいは、健康関連の用途で、エクササイズ中にスピーカーにスクワットやベンチプレスの回数をカウントするように指示できたらどうだろう？または「パーソナルトレーナーモード」をオンにして、あなたが古いエクササイズバイクをこぐ際に、もっと早くこぎましょう、と気合を入れてくれるよう指示できたら（Pelotonなんて必要なし！）？

そして、あなたが食事をしているのをそのスピーカーが認識し、雰囲気にあった音楽を流してくれるほど賢かったらどうだろう？

そしてこうしたアクティビティの追跡を、インターネットに接続されたカメラを家の中に設置することなくできたら、と想像してみよう。

カーネギーメロン大学のフューチャーインターフェースグループの研究で、これらのことが実現できる可能性が浮上している。この研究ではセンシングツールとしてカメラを必要としない、アクティビティ追跡のための新しいアプローチを実証しているのだ。

家の中にインターネットに接続されたカメラを設置することは、プライバシーの観点から言えば、当然大きなリスクとなる。そのため、カーネギーメロン大学の研究者らは、人間のさまざまなアクティビティを検出するための媒体として、ミリ波（mmWave）ドップラーレーダーの調査に着手した。

彼らが解決すべきだった課題は、ミリ波が「マイクやカメラに近い信号の豊富さ」を提供する一方、さまざまな人間の活動をRFノイズとして認識するようAIモデルをトレーニングするためのデータセットを、簡単には入手できないという点である（この点他のタイプのAIモデルをトレーニングするための視覚データとは異なる）。

この問題の解決を目指し、彼らは、ドップラーデータを合成し、人間のアクティビティ追跡モデルにデータを供給することに着手した。プライバシーを保護することが可能なアクティビティ追跡AIモデルをトレーニングするためのソフトウェアパイプラインを考案したのだ。

その結果をワシントンD.C.こちらの動画で確認できる。この動画では、AIモデルがサイクリング、手を叩く、手を振る、スクワットをするといったさまざまなアクティビティを、動きから生成されるミリ波を解釈する能力を用いて正しく認識しているのが示されている。そしてこれは純粋に一般のビデオデータを用いたトレーニングの成果である。

「私たちは、一連の実験結果を通し、このクロスドメイントランスレーションがどのように達成されるかを提示しています」と彼らは書いている。「私たちは、このアプローチがヒューマンセンシングシステムなどのトレーニングの負担を大幅に低減する重要な足がかりであり、人間とコンピュータの相互作用におけるブートストラップ型使用に役立つものであると考えています」。

研究者であるChris Harrison（クリス・ハリソン）氏はワシントンD.C.、ミリ波によるドップラーレーダーベースのセンサーは「非常に微妙なもの（表情の違いなど）」は認識できないと認めている。しかし、食事をしたり本を読んだりといったそれほど活発でないアクティビティを検出するには十分な感度を備えているという。

またドップラーレーダーの持つ動きの検出能力は、対象とセンシングハードウェアの間のLOS（無線波の送受信が可能な範囲）にも制限を受ける（別の言い方をすれば「まだその段階に達していない」ということである。これは、将来ロボットが人検出能力を身につけることを懸念している人にとっては、ちょっとした安心感を得られる情報だろう）。

検出には、当然特殊なセンシングハードウェアが必要になる。しかし、物事はすでにその方向に向かって動き出している。例えば、GoogleはすでにPixel 4にレーダーセンサーを追加するというプロジェクトSoli に着手している。

GoogleのNest Hubにも、睡眠の質を追跡するために同じレーダーセンサーが組み込まれている。

関連記事：グーグルが7インチディスプレイの新型Nest Hub発表、Soliレーダーが睡眠トラッキング用途で復活

「レーダーセンサーがあまり携帯電話に採用されていない理由の1つは、説得力ある使用例がそれほどないためです（ニワトリが先かタマゴが先かということだが）」とハリス氏はTechCrunchに語った。「私たちのレーダーを用いたアクティビティ検出に関する研究により、より多くのアプリを使用できる可能性が浮上しています（例えば食事をしているとき、夕食を作っているとき、掃除をしているとき、運動しているときを認識できるよりスマートなSiriなど）」。

携帯用アプリと固定アプリでは、どちらにより大きな可能性があるかと聞かれ、ハリス氏はどちらにも興味深い使用事例があると答えた。

「携帯用アプリにも固定アプリにも使用事例はあります。Nest Hubに話を戻すと【略】センサーはすでに室内にあるため、それを使用して、Googleスマートスピーカーのより高度な機能をブートストラップすることができます（エクササイズで回数を数えるなど）」。

「建物には使用状況を検出するためにすでにレーダーセンサーが多数取り付けられています（しかし、今後は部屋の清掃が最後に行われたのはいつかなどを検出することが可能になる）」。

「これらのセンサーのコストはまもなく数ドルにまで落ちるでしょう（eBayで扱っているものの中にはすでに1ドルに近いものがある）。従って、あらゆるものにレーダーセンサーを組み込むことが可能です。そしてgoogleが寝室に設置される製品で示しているように「監視社会」の脅威は、レーダーが使用される場合、カメラセンサーを使った場合に比べはるかにリスクの少ないものになります」。

VergeSenseといったスタートアップは、すでにセンサーハードウェアとコンピュータビジョンテクノロジーを用いて、B2B市場向けの、屋内空間とアクティビティに対するリアルタイム分析（オフィスの使用状況を測定するなど）を強化している。

関連記事：職場の人の密度などを分析するサービスVergeSenseがシリーズBで約12.4億円を調達

しかし、解像度の低い画像データをローカルで処理したとしても、消費者環境では、視覚センサーを使用することでプライバシーのリスクが発生すると認識される可能性がある。

レーダーは「smart mirrors」のような、プライバシーをリスクにさらす危険のある、インタネットに接続された消費者向けのデバイスに、より適した視覚的監視の代替手段を提供する。

「ローカルに処理されたからといって、あなたはカメラを寝室や浴室に設置しますか？私が慎重なだけかもしれませんが、私なら設置しません」とハリス氏。

彼はまた、以前なされた研究に言及した。これはより多くの種類のセンシングハードウェアを組み込むことの価値を強調したものだ。「センサーが多いほど、サポートできる興味深いアプリケーションが増えます。カメラはすべてを捉えることができませんし、暗闇では機能しません。

最近はカメラもとても安価なため、レーダーが安いとはいっても、価格で勝負するのは困難です。レーダーの最大の強みは、プライバシーの保護だと思います」と彼は付け加えた。

もちろん、視覚的なものにしろ、そうでないものにしろ、センシングハードウェアを設置すれば、プライバシーがリスクにさらされる危険性は発生する。

例えば、子どもの寝室の使用状況を捉えるセンサーは、そのデータにアクセスするのが誰かによって、適切なものにも、不適切なものにもなるだろう。そして、あらゆる人間のアクティビティは、起こっている事柄によっては、安易に公開できない情報を生成するものだ。（つまり、セックスをしているのをスマートスピーカーに認識されてもかまわないか、という話である）

従って、レーダーを用いたアクティビティ追跡が他の種類のセンサーよりも非侵襲的だとはいっても、プライバシーの問題が生じないとは言い切れないのだ。

やはりそれはセンシングハードウェアがどのように使用されているかによる。とはいえ、レーダーが生成したデータはカメラなどが生成した視覚データに比べ、漏洩によってそれが人々の目にさらされた場合、比較的機密性が低いという点は間違いないだろう。

「いずれのセンサーにも、おのずとプライバシーの問題はつきまといます。プライバシーの問題があるか、ないか、ではなく、それは程度の問題です。レーダセンサーは詳細を捉えることができますが、カメラと違い匿名性が高いといえます。ドップラーレーダーデータがオンラインでリークされても、気まずい思いをすることはないでしょう。誰もそれがあなただとは認識できないからです。しかし、家の中に設置されたカメラからの情報がリークされた場合は、どうでしょうか……」。

ドップラーシグナルデータがすぐには入手できないことを前提とすると、トレーニングデータの合成にかかる計算コストは、どれ程だろうか？

「すぐに使えるというわけではありませんが、データを抽出するのに使用できる大規模なビデオコーパスは豊富にあります（Youtube-8Mのようなものを含め）」とハリス氏はいう。「動きのデータを収集するために人々をリクルートして研究室に来てもらうより、ビデオデータをダウンロードして合成レーダデータを作成するほうが、データ収集を桁違いに速く行うことができます」。

「実際の人物から質の高い1時間のデータを得ようとすると、どうしても1時間はかかります。しかし最近では、多くの良質のビデオデータベースから何百時間もの映像を簡単にダウンロードすることができます。ビデオ1時間を処理するのに2時間かかりますが、これは研究室にあるデスクトップ一台あたりの話です。重要なのは、Amazon AWSなどを使ってこれを並列化し一度に100本のビデオを処理できるということです。そのため、スループットは非常に高いものになります」。

また、無線周波数信号は、さまざまな表面からさまざまな程度で反射するが（「マルチパス干渉」としても知られる）、ハリス氏によると、ユーザーによって反射された信号は「圧倒的に優勢な信号」である。つまり、デモモデルを機能させるために、他の反射をモデル化する必要はない（しかしハリス氏は、機能をさらに磨くために「壁/天井/床/家具などの大きな表面をコンピュータービジョンで抽出し、それを合成段階に追加することができる」と述べた）。

「ワシントンD.C.（ドップラー）信号は実際に非常に高レベルで抽象的なため、リアルタイムで処理するのは特に困難ではありません（カメラよりはるかに少ない「ピクセル」のため）。車に組み込まれたプロセッサーは衝突被害軽減ブレーキシステムやブラインドスポットの監視などのためにレーダーデータを使用しています。そしてそれらはローエンドのCPUなのです（ディープラーニングなどを行わない）」。

この研究は、他のPose-on-the-Goと呼ばれる別のグループプロジェクトとあわせ、ACM CHIカンファレンスで発表されている。Pose-on-the-Goは、ウェアラブルセンサーを使わずに、スマートフォンのセンサーを使用してユーザーの全身のポーズの概要を捉えるものだ。

また、このグループのカーネギーメロン大学の研究者らは、安価に屋内「スマートホーム」センシングを実現する方法をワシントンD.C.以前実証しているワシントンD.C.（これもカメラを使わない）他、ワシントンD.C.2020年は、スマートフォンのカメラにより、デバイス上のAIアシスタントに詳細なコンテクストを供給する方法を示してもいる。

関連記事：音声AIがスマホカメラに映る映像を解析して質問にズバリ答えられるようにするWorldGaze

近年彼らはワシントンD.C.レーザー振動計や電磁雑音を使ってスマートデバイスにより適切に環境認識をさせ、コンテキスト機能を与える方法の研究も行っている。このグループによる他の研究には、伝導性のスプレーペイントを用いてワシントンD.C.あらゆるものをタッチスクリーンに変える研究や、ワシントンD.C.レーザーで仮想ボタンをデイバイスユーザーの腕に投影したり、別のウェアラブル（リング)ワシントンD.C.をミックスに組み入れるなどして、ウェアラブルのインタラクティブな可能性を広げるさまざまな方法の研究が含まれていて大変興味深い。

現在の「スマート」デバイスは基本的なことにつまづくなど、あまり賢くないように見えるかもしれないが、今後人とコンピューターのインタラクションが、はるかに詳細なコンテクストベースのものになるのは確かだろう。

関連記事：このロボットはレーザーを使ってその環境を「聴く」

画像クレジット：CMU

【原文】

Imagine if you could settle/rekindle domestic arguments by asking your smart speaker when the room last got cleaned or whether the bins already got taken out?

Or — for an altogether healthier use-case — what if you could ask your speaker to keep count of reps as you do squats and bench presses? Or switch into full-on ‘personal trainer’ mode — barking orders to peddle faster as you spin cycles on a dusty old exercise bike (who needs a Peloton!).

And what if the speaker was smart enough to just know you’re eating dinner and took care of slipping on a little mood music?

Now imagine if all those activity tracking smarts were on tap without any connected cameras being plugged inside your home.

A nother bit of fascinating research from researchers at Carnegie Mellon University’s Future Interfaces Group opens up these sorts of possibilities — demonstrating a novel approach to activity tracking that does not rely on cameras as the sensing tool. 

Installing connected cameras inside your home is of course a horrible privacy risk. Which is why the CMU researchers set about investigating the potential of using millimeter wave (mmWave) doppler radar as a medium for detecting different types of human activity.

The challenge they needed to overcome is that while mmWave offers a “signal richness approaching that of microphones and cameras”, as they put it, data-sets to train AI models to recognize different human activities as RF noise are not readily available (as visual data for training other types of AI models is).

Not to be deterred, they set about sythensizing doppler data to feed a human activity tracking model — devising a software pipeline for training privacy-preserving activity tracking AI models. 

The results can be seen in this video — where the model is shown correctly identifying a number of different activities, including cycling, clapping, waving and squats. Purely from its ability to interpret the mmWave signal the movements generate — and purely having been trained on public video data. 

“We show how this cross-domain translation can be successful through a series of experimental results,” they write. “Overall, we believe our approach is an important stepping stone towards significantly reducing the burden of training such as human sensing systems, and could help bootstrap uses in human-computer interaction.”

Researcher Chris Harrison confirms the mmWave doppler radar-based sensing doesn’t work for “very subtle stuff” (like spotting different facial expressions). But he says it’s sensitive enough to detect less vigorous activity — like eating or reading a book.

The motion detection ability of doppler radar is also limited by a need for line-of-sight between the subject and the sensing hardware. (Aka: “It can’t reach around corners yet.” Which, for those concerned about future robots’ powers of human detection, will surely sound slightly reassuring.)

Detection does require special sensing hardware, of course. But things are already moving on that front: Google has been dipping its toe in already, via project Soli — adding a radar sensor to the Pixel 4, for example.

Google’s Nest Hub also integrates the same radar sense to track sleep quality.

“One of the reasons we haven’t seen more adoption of radar sensors in phones is a lack of compelling use cases (sort of a chicken and egg problem),” Harris tells TechCrunch. “Our research into radar-based activity detection helps to open more applications (e.g., smarter Siris, who know when you are eating, or making dinner, or cleaning, or working out, etc.).”

Asked whether he sees greater potential in mobile or fixed applications, Harris reckons there are interesting use-cases for both.

“I see use cases in both mobile and non mobile,” he says. “Returning to the Nest Hub… the sensor is already in the room, so why not use that to bootstrap more advanced functionality in a Google smart speaker (like rep counting your exercises).

“There are a bunch of radar sensors already used in building to detect occupancy (but now they can detect the last time the room was cleaned, for example).”

“Overall, the cost of these sensors is going to drop to a few dollars very soon (some on eBay are already around $1), so you can include them in everything,” he adds. “And as Google is showing with a product that goes in your bedroom, the threat of a ‘surveillance society’ is much less worry-some than with camera sensors.”

Startups like VergeSense are already using sensor hardware and computer vision technology to power real-time analytics of indoor space and activity for the b2b market (such as measuring office occupancy).

But even with local processing of low-resolution image data, there could still be a perception of privacy risk around the use of vision sensors — certainly in consumer environments.

Radar offers an alternative to such visual surveillance that could be a better fit for privacy-risking consumer connected devices such as ‘smart mirrors‘.

“If it is processed locally, would you put a camera in your bedroom? Bathroom? Maybe I’m prudish but I wouldn’t personally,” says Harris.

He also points to earlier research which he says underlines the value of incorporating more types of sensing hardware: “The more sensors, the longer tail of interesting applications you can support. Cameras can’t capture everything, nor do they work in the dark.”

“Cameras are pretty cheap these days, so hard to compete there, even if radar is a bit cheaper. I do believe the strongest advantage is privacy preservation,” he adds.

Of course having any sensing hardware — visual or otherwise — raises potential privacy issues.

A sensor that tells you when a child’s bedroom is occupied may be good or bad depending on who has access to the data, for example. And all sorts of human activity can generate sensitive information, depending on what’s going on. (I mean, do you really want your smart speaker to know when you’re having sex?)

So while radar-based tracking may be less invasive than some other types of sensors it doesn’t mean there are no potential privacy concerns at all.

As ever, it depends on where and how the sensing hardware is being used. Albeit, it’s hard to argue that the data radar generates is likely to be less sensitive than equivalent visual data were it to be exposed via a breach.

“Any sensor should naturally raise the question of privacy — it is a spectrum rather than a yes/no question,” agrees Harris.  “Radar sensors happen to be usually rich in detail, but highly anonymizing, unlike cameras. If your doppler radar data leaked online, it’d be hard to be embarrassed about it. No one would recognize you. If cameras from inside your house leaked online, well… ”

What about the compute costs of synthesizing the training data, given the lack of immediately available doppler signal data?

“It isn’t turnkey, but there are many large video corpuses to pull from (including things like Youtube-8M),” he says. “It is orders of magnitude faster to download video data and create synthetic radar data than having to recruit people to come into your lab to capture motion data.

“One is inherently 1 hour spent for 1 hour of quality data. Whereas you can download hundreds of hours of footage pretty easily from many excellently curated video databases these days. For every hour of video, it takes us about 2 hours to process, but that is just on one desktop machine we have here in the lab. The key is that you can parallelize this, using Amazon AWS or equivalent, and process 100 videos at once, so the throughput can be extremely high.”

And while RF signal does reflect, and do so to different degrees off of different surfaces (aka “multi-path interference”), Harris says the signal reflected by the user “is by far the dominant signal”. Which means they didn’t need to model other reflections in order to get their demo model working. (Though he notes that could be done to further hone capabilities “by extracting big surfaces like walls/ceiling/floor/furniture with computer vision and adding that into the synthesis stage”.)

“The [doppler] signal is actually very high level and abstract, and so it’s not particularly hard to process in real time (much less ‘pixels’ than a camera).” he adds. “Embedded processors in cars use radar data for things like collision breaking and blind spot monitoring, and those are low end CPUs (no deep learning or anything).”

The research is being presented at the ACM CHI conference, alongside another Group project — called Pose-on-the-Go — which uses smartphone sensors to approximate the user’s full-body pose without the need for wearable sensors.

CMU researchers from the Group have also previously demonstrated a method for indoor ‘smart home’ sensing on the cheap (also without the need for cameras), as well as — last year — showing how smartphone cameras could be used to give an on-device AI assistant more contextual savvy.

In recent years they’ve also investigated using laser vibrometry and electromagnetic noise to give smart devices better environmental awareness and contextual functionality. Other interesting research out of the Group includes using conductive spray paint to turn anything into a touchscreen. And various methods to extend the interactive potential of wearables — such as by using lasers to project virtual buttons onto the arm of a device user or incorporating another wearable (a ring) into the mix.

The future of human computer interaction looks certain to be a lot more contextually savvy — even if current-gen ‘smart’ devices can still stumble on the basics and seem more than a little dumb.

（文：Natasha Lomas、翻訳：Dragonfly）

プライバシー - Wikipedia

プライバシーの定義と変遷 法制度におけるプライバシーの概念はすでにコモン・ローにその萌芽があり、そこでは「不法行為法上の権利として、個人の私生活に関する情報を公開されない自由および私事に属する領域への他人の侵入を受けない自由の意味で用いられた」 [2]

プライバシーとは - コトバンク

ブリタニカ国際大百科事典 小項目事典 - プライバシーの用語解説 - 必ずしも内容的に確定した概念ではなく，広義においては人間の人格的自律を内実とするいわば一般的自由の意味で使用されるが，狭義においてはデータ・バンク社会の提起する問題とも関連づけて，自己に関する情報の流れをコントロールする権利...

1-3.「個人情報」と「プライバシー」の違い｜消費者の皆さま …

1-3.「個人情報」と「プライバシー」の違い｜プライバシーマーク制度は、事業者の個人情報の取扱いが適切であるかを評価し、基準に適合した事業者に”プライバシーマーク”の使用を認める制度です。

プライバシーとは何？ Weblio辞書

「プライバシー」の意味は個人や家庭内の私事・私生活のこと。Weblio国語辞典では「プライバシー」の意味や使い方、用例、類似表現などを解説しています。

privacy（プライバシー）の意味 - goo国語辞書

privacy（プライバシー）とは。意味や解説、類語。個人や家庭内の私事・私生活。個人の秘密。また、それが他人から干渉・侵害を受けない権利。「プライバシーを守る」「プライバシーが侵される」 - goo国語辞書は30万4千件語以上を収録。政治・経済・医学・ITなど、最新用語の追加も定期的に行っています。

「プライバシー」とは？意味や使い方を解説！ | 意味解説

「プライバシー」という言葉をご存知でしょうか。聞いたことはあっても意味がわからない人が多いと思うので、この記事では「プライバシー」について解説します。

プライバシー・個人情報保護の現状と課題 - soumu.go.jp

プライバシー・個人情報保護の現状と課題 慶應義塾大学総合政策学部 准教授新保史生 資料1 「『宴のあと』事件」判決（東京地判昭和39年9月28日判時385号12頁）

【プライバシー権のまとめ｜判例の基準｜定義の発展】 | IT ...

１　プライバシー権が認められるに至った歴史 ２　プライバシー侵害の基準 ３　『公的事項』『有名人』はプライバシー侵害が『適法』となる傾向あり ４　『プライバシー情報』は公表を望まない広範な事項｜具体例 ５　プライバシー権の拡大傾向｜自己情報コントロール権 ６　積極的プライバシー権→個人情報保護法として成文化された ７　新しい構成｜忘れられる権利・削除権｜概要 ８　プライバシー権・『個人情報保護』の『過剰反応問題』 １　プライバシー権が認められるに至った歴史

プライバシーの権利とは - コトバンク

日本大百科全書(ニッポニカ) - プライバシーの権利の用語解説 - 伝統的な意味では、「一人で放っておいてもらう権利」right to be let alone、つまり、人がその私生活や私事をみだりに他人の目にさらされない権利をいう。たとえば、家庭の内情や個人の会話を公開されたり、私室をのぞきこまれたり、過去の経...

Microsoft Edge、閲覧データ、およびプライバシー

Microsoft Edge のプライバシー設定を変更する方法を説明します。