アップルがiCloud上の児童虐待画像を検出する新技術「NeuralHash」導入へ

今回は「アップルがiCloud上の児童虐待画像を検出する新技術「NeuralHash」導入へ」についてご紹介します。

関連ワード （Apple、iCloud、iOS 15、macOS Monterey、プライバシー、個人情報、児童ポルノ対策、子ども、警察等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Apple（アップル）は、既知の児童性的虐待素材を検知し、ユーザープライバシーが守られる方法で警察機関に通報する技術を2021年中に展開する。

Appleは、児童性的虐待素材（CSAM）の検出は同社のサービスを使用する子どもたちをオンライン危害から守ることを目的とした新機能の一環であるとTechCrunchに語った。子どものiMessage（アイ・メッセージ）アカウントを通じて送受信される性的に露骨な画像をブロックするフィルターもその1つだ。他にもユーザーがSiri（シリ）や検索でCSAMに関連したことばを検索しようとした時にブロックする機能もある。

Dropbox（ドロップボックス）、Google（グーグル）、Microsoft（マイクロソフト）をはじめとするほとんどのクラウドサービスは、サービスの利用規約に違反したりCSAMなどの違法コンテンツを検出するためにユーザーのファイルを監視している。しかしAppleは長年、クラウド上のユーザー・ファイルの監視に抵抗しており、データがAppleのiCloud（アイクラウド）サーバーに到達する前に暗号化するオプションをユーザーに提供している。

Appleは自社の新しいCSAM検出技術であるNeuralHash（ニューラルハッシュ）について、クラウド上ではなくユーザーの端末上で動作し、ユーザーが既知の児童虐待画像をiCloudにアップロードしたことを検出できるが、一定のしきい値を超え一連のチェックでコンテンツが検証されるまで画像は復号化されないと説明した。

Appleの取り組みのニュースは、米国時間8月4日、ジョンズ・ホプキンス大学の暗号学専門のMatthew Green（マシュー・グリーン）教授が新技術の存在を一連のツイートで公開したことで明らかになった。このニュースには、一部のセキュリティ専門家とプライバシー擁護者だけでなく、ほとんどの他社にないAppleのセキュリティとプライバシーへのアプローチに馴染んでいるユーザーも抵抗を示した

Appleは不安を鎮めるべく、暗号化のさまざまな暗号化の複数レイヤーにプライバシー対策を施し、Appleによる最終的な手動レビュー審査に至るまでに複数の段階が必要になるような方法で実装している。

NeuralHashは、1、2カ月後に公開が予定されているiOS 15およびmacOS Montereyに搭載される予定で、ユーザーのiPhoneまたはMac上にある写真を文字と数字の独特な並び（ハッシュと呼ばれる）に変換する。画像がわずかに変更されるとハッシュが変更されてマッチングが阻止される。Appleによると、NeuralHashは同一あるいは外観の似た画像（たとえば切り抜きや編集を施された画像）から同じハッシュが作られるように動作する。

関連記事
・iOS 15ではさらにセキュリティとプライバシー保護機能が充実
・アップルの最新アクセシビリティ機能は手足や声が不自由な人へさらに寄り添う

画像がiCloud写真にアップロードされる前にハッシュは、全米行方不明・被搾取児童センター（NCMEC）などの児童保護組織から提供された児童虐待画像から得たの既知のハッシュのデータベースと端末上で比較される。NeuralHashはPrivate Set Intersection（プライベート・セット・インターセクション）と呼ばれる暗号化技術を用いて、画像の内容を明かすこともユーザーに警告することもなくハッシュの一致を検出する。

結果はAppleにアップロードされるが、そのままでは内容を見ることはできない。AppleはThreshold Secret Sharing（しきい値秘密分散法）と呼ばれる別の暗号化原理を用いることで、ユーザーのiCloud写真中の既知の児童虐待画像が一定のしきい値を越えた場合にのみコンテンツを解読できる。しきい値が何であるかについてAppleは明らかにしていないが、こんな例を示した。ある秘密が1000ピースに分割され、しきい値が児童虐待画像10枚だったとすると、その秘密は10枚の画像のどの1つからでも再構築できる。

これは、Appleが一致した画像を解読し、手動でコンテンツを検証することで、ユーザーのアカウントを停止し、画像をNCMECに報告し、その後その画像が警察機関に渡る可能性があるということを意味している。Appleはこのプロセスについて、クラウド上のファイルを監視するよりもプライバシーに配慮している、なぜならNeuralHashが検出するのは既知の児童虐待画像のみであり新しい画像ではないからだと述べている。Appleは、1兆分の1の確率で誤検出の可能性があるが、アカウントが誤って停止された場合に異議申し立てをする手続きがあるという。

AppleはNeuralHashの仕組みに関する技術情報を自社ウェブサイトで公開している。文書は暗号学専門家の査読を受けており、児童保護団体からも称賛されている。

しかし、児童性的虐待と戦うさまざまな取り組みが広い支持を得ている一方で、アルゴリズムに委ねることに多くの人々が違和感を示す監視の要素がそこにはある。また、セキュリティ専門家の間には、Appleがこのテクノロジーをユーザーに適用する前にもっと公開議論をすべきだと指摘する声もある。

大きな疑問は、なぜもっと早くではなく、今なのかだ。Appleは、同社のプライバシーが保護されたCSAM検出技術はこれまで存在しなかったと語った。一方でAppleのような会社は、ユーザーデータを保護している暗号化技術を弱体化するか裏口を提供することで警察機関の凶悪犯罪捜査を可能にすべし、という米国政府や同盟国からの大きな圧力にも直面している。

テック巨人らたちは自社システムの裏口を提供することを拒否し続けてきたが、政府によるアクセスをさらに遮断しようとする取り組みに対する抵抗を受けている。iCloudに保存されているデータはAppleがアクセスできない形で暗号化されているが、Reuters（ロイター）の2020年の記事によると、AppleはiPhoneのiCloudへのフルバックアップを暗号化する計画を、捜査を阻害するとFBIから抗議されて中止したという。

Appleの新しいCSAM検出ツールが公の場で議論されていない点についても、このテクノロジーが児童虐待画像を大量に送りつけて被害者のアカウントを停止に追い込むなど悪用の恐れがあるという懸念を呼んだ。しかしAppleは、手動レビューによって起こりうる悪用の証拠を検査するとして問題を軽視している。

Appleは、NeuralHashはまず米国で展開すると語ったが、世界的な展開の可能性や時期は明らかにしていない。最近まで、Facebook（フェイスブック）をはじめとする企業は、EU全体で児童虐待検出ツールが強制的に停止させられていた。当地でプライベートメッセージの自動監視が禁止されたためだった。Appleは新機能について、iCloud写真は使う義務がないので厳密には選択的であるが、使用するなら必須であると説明した。つまるところ、あなたの端末はあなたの所有物だが、Appleのクラウドはそうではない、ということだ。

画像クレジット：Bryce Durbin / TechCrunch / Getty Images

【原文】

Later this year , Apple will roll out a technology that will allow the company to detect and report known child sexual abuse material to law enforcement in a way it says will preserve user privacy.

Apple told TechCrunch that the detection of child sexual abuse material (CSAM) is one of several new features aimed at better protecting the children who use its services from online harm, including filters to block potentially sexually explicit photos sent and received through a child’s iMessage account. Another feature will intervene when a user tries to search for CSAM-related terms through Siri and Search.

Most cloud services — Dropbox, Google, and Microsoft to name a few — already scan user files for content that might violate their terms of service or be potentially illegal, like CSAM. But Apple has long resisted scanning users’ files in the cloud by giving users the option to encrypt their data before it ever reaches Apple’s iCloud servers.

Apple said its new CSAM detection technology — NeuralHash — instead works on a user’s device, and can identify if a user uploads known child abuse imagery to iCloud without decrypting the images until a threshold is met and a sequence of checks to verify the content are cleared.

News of Apple’s effort leaked Wednesday when Matthew Green, a cryptography professor at Johns Hopkins University, revealed the existence of the new technology in a series of tweets. The news was met with some resistance from some security experts and privacy advocates, but also users who are accustomed to Apple’s approach to security and privacy that most other companies don’t have.

Apple is trying to calm fears by baking in privacy through multiple layers of encryption, fashioned in a way that requires multiple steps before it ever makes it into the hands of Apple’s final manual review.

NeuralHash will land in iOS 15 and macOS Monterey, slated to be released in the next month or two, and works by converting the photos on a user’s iPhone or Mac into a unique string of letters and numbers, known as a hash. Any time you modify an image slightly, it changes the hash and can prevent matching. Apple says NeuralHash tries to ensure that identical and visually similar images — such as cropped or edited images — result in the same hash.

Read more on TechCrunch New Apple technology will warn parents and children about sexually explicit photos in Messages Apple unveils new iOS 15 privacy features at WWDC Apple’s latest accessibility features are for those with limb and vocal differences Why Apple is right to resist the FBI

Before an image is uploaded to iCloud Photos, those hashes are matched on the device against a database of known hashes of child abuse imagery, provided by child protection organizations like the National Center for Missing & Exploited Children (NCMEC) and others. NeuralHash uses a cryptographic technique called private set intersection to detect a hash match without revealing what the image is or alerting the user.

The results are uploaded to Apple but cannot be read on their own. Apple uses another cryptographic principle called threshold secret sharing that allows it only to decrypt the contents if a user crosses a threshold of known child abuse imagery in their iCloud Photos. Apple would not say what that threshold was, but said — for example — that if a secret is split into a thousand pieces and the threshold is ten images of child abuse content, the secret can be reconstructed from any of those ten images.

It’s at that point Apple can decrypt the matching images, manually verify the contents, disable a user’s account and report the imagery to NCMEC, which is then passed to law enforcement. Apple says this process is more privacy mindful than scanning files in the cloud as NeuralHash only searches for known and not new child abuse imagery. Apple said that there is a one in one trillion chance of a false positive, but there is an appeals process in place in the event an account is mistakenly flagged.

Apple has published technical details on its website about how NeuralHash works, which was reviewed by cryptography experts and praised by child protection organizations.

But despite the wide support of efforts to combat child sexual abuse, there is still a component of surveillance that many would feel uncomfortable handing over to an algorithm, and some security experts are calling for more public discussion before Apple rolls the technology out to users.

A big question is why now and not sooner. Apple said its privacy-preserving CSAM detection did not exist until now. But companies like Apple have also faced considerable pressure from the U.S. government and its allies to weaken or backdoor the encryption used to protect their users’ data to allow law enforcement to investigate serious crime.

Tech giants have refused efforts to backdoor their systems, but have faced resistance against efforts to further shut out government access. Although data stored in iCloud is encrypted in a way that even Apple cannot access it, Reuters reported last year that Apple dropped a plan for encrypting users’ full phone backups to iCloud after the FBI complained that it would harm investigations.

The news about Apple’s new CSAM detection tool, without public discussion, also sparked concerns that the technology could be abused to flood victims with child abuse imagery that could result in their account getting flagged and shuttered, but Apple downplayed the concerns and said a manual review would review the evidence for possible misuse.

Apple said NeuralHash will roll out in the U.S. at first, but would not say if, or when, it would be rolled out internationally. Until recently, companies like Facebook were forced to switch off their child abuse detection tools across the European Union after the practice was inadvertently banned. Apple said the feature is technically optional in that you don’t have to use iCloud Photos, but will be a requirement if users do. After all, your device belongs to you but Apple’s cloud does not.

（文：Zack Whittaker、翻訳：Nob Takahashi / facebook ）