アップルがメッセージアプリで送受信される性的な画像を検知し子どもと親に警告する新技術を発表

今回は「アップルがメッセージアプリで送受信される性的な画像を検知し子どもと親に警告する新技術を発表」についてご紹介します。

関連ワード （Apple、iCloud、iOS 15、iPad OS15、macOS Monterey、プライバシー、メッセージ、児童ポルノ対策、子ども、機械学習等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Apple（アップル）は、子どもがMessages（メッセージ）アプリを通じて性的に露骨な写真を送受信した場合、子どもと親に警告する新しいツールを、2021年後半に導入すると発表した。この機能は、アップルのプラットフォームやサービスにおける児童性的虐待素材（Child Sexual Abuse Material：CSAM）の拡散を制限することを目的に、同社が導入するいくつかの新技術の一部だ。

関連記事：アップルがiCloud上の児童虐待画像を検出する新技術「NeuralHash」導入へ

これらの開発の一環として、アップルは消費者のプライバシーを尊重しつつ、iPhoneやiPadなどのモバイルデバイスやiCloud（アイクラウド）にアップロードされた写真の中から、既知のCSAM画像を検出できる技術を導入する。

一方、メッセージアプリの新機能は、子どもたちが健全なオンライン・コミュニケーションを取れるように、親がより積極的に関わり、情報が得られるようにするためのものだ。2021年後半に予定されているソフトウェアアップデートにより、アップルのメッセージアプリは機械学習を使って画像添付ファイルを分析し、メッセージアプリで送受信される画像が、性的に露骨なものでないかを判断できるようになる。この技術では、すべての処理がデバイス上で行われるため、アップルが子どものプライベートな通信にアクセスしたり、それを傍受する必要はない。クラウド上のアップルのサーバーには何も転送されることはない。

メッセージの中に、性的な問題がありそうな画像が検知された場合、その画像はブロックされ、写真の下に「これは問題があるかもしれない画像です」というラベルが表示される。タップすればその画像を見ることができるが、子どもが写真の閲覧を選択すると、さらに詳しい情報を伝える別の画面が表示される。そこには、問題のありそうな写真や動画について「水着で隠すプライベートな体の部分が写っています」とか「あなたは悪くないけれど、刺激的な写真や動画はあなたを傷つけるために使われることがあります」というメッセージが表示される。

また、写真や動画に写っている人が、見られたくないと思っているのに本人が知らないうちに共有されている可能性があることも提言する。

これらの警告は、子どもがそのコンテンツを見ないという正しい判断をするように導くためのものだ。

しかし、それでも子どもがタップして画像を見ようとすると、さらに別の画面が現れ、写真を見ることを選択した場合、親に通知されることが伝えられる。また、この画面では、親たちが子どもの安全を願っていることを説明し、本当は見たくないのに見るようにと強制されているなら、信頼できる人に相談するように勧めている。助けを求めるためのリソースへのリンクも表示される。

画面の下には写真を見るための選択肢は残されているものの、デフォルトで選べるようにはなっていない。その代わり「写真を表示しない」という選択肢の方が目立つように画面がデザインされている。

コミュニケーションを妨げてアドバイスやリソースを提供するだけでなく、システムが保護者に警告を発するこのような機能は、子どもを性犯罪者から守ることに役立つ可能性がある。子どもが性犯罪者から被害を受けた時、親は子どもが相手とネットや電話で会話を始めたことにさえ気づかなかったというケースが多いからだ。性犯罪者は子どもの心理を巧みに操って信頼を得ようとし、子どもを親から引き離して、コミュニケーションを親に内緒にさせようとする。あるいは犯罪者が親に近づいてくるケースもある。

アップルのテクノロジーは、性的に露骨な内容の画像や動画が共有されることに介入し、特定して、警告を発することで、どちらのケースにおいても役に立つだろう。

しかし、CSAMの中には、いわゆる自己作成型CSAM、つまり子ども自身が撮影した画像を、子どものパートナーや仲間と合意の上で共有するものが増えている。セクスティングとか、裸の写真の共有などだ。子どもの性的搾取に対抗する技術を開発している企業のThorn（ソーン）が2019年に行った調査によると、この行為は非常に一般的になっており、13歳から17歳の女子の5人に1人が、自分の裸の写真を共有したことがあると答え、男子の10人に1人が、同じことをしたことがあると答えている。しかし、その画像を共有することで、性的虐待や搾取の危険にさらされることを、子どもは十分に理解していないかもしれないのだ。

アップルの新しいメッセージアプリは、これに対しても同様の保護機能が働く。この場合、子どもが性的に露骨な写真を送ろうとすると、写真が送信される前に警告が表示される。それでも子どもが写真を送信しようとした場合には、保護者にメッセージが届く。

アップルによれば、この新機能は2021年後半に行われるソフトウェアアップデートの一環として、まずは米国から、iOS 15、iPadOS 15、macOS Monterey（モントレー）のiCloudで、家族として設定されたアカウントで有効になるとのこと。

このアップデートはSiriと検索にも適用され、子どもや親がオンラインで安全に過ごせるように、安全でない状況で助けを得るためのガイダンスやリソースが拡充される。例えば、ユーザーはSiriに、CSAMや児童の性的搾取を報告する方法を尋ねることができるようになる。また、ユーザーがCSAMに関連する疑問を検索すると、Siriと検索が介入して、そのトピックが有害であることを説明し、助けを得るための情報や相談先を提供する。

関連記事
・iOS 15ではさらにセキュリティとプライバシー保護機能が充実
・アップルの最新アクセシビリティ機能は手足や声が不自由な人へさらに寄り添う

画像クレジット：Janis Engel / EyeEm / Getty Images

【原文】

Apple later this year will roll out new tools that will warn children and parents if the child sends or receives sexually explicit photos through the Messages app. The feature is part of a handful of new technologies Apple is introducing that aim to limit the spread of Child Sexual Abuse Material (CSAM) across Apple’s platforms and services.

As part of these developments, Apple will be able to detect known CSAM images on its mobile devices, like iPhone and iPad, and in photos uploaded to iCloud, while still respecting consumer privacy.

The new Messages feature, meanwhile, is meant to enable parents to play a more active and informed role when it comes to helping their children learn to navigate online communication. Through a software update rolling out later this year, Messages will be able to use on-device machine learning to analyze image attachments and determine if a photo being shared is sexually explicit. This technology does not require Apple to access or read the child’s private communications, as all the processing happens on the device. Nothing is passed back to Apple’s servers in the cloud.

If a sensitive photo is discovered in a message thread, the image will be blocked and a label will appear below the photo that states, “this may be sensitive” with a link to click to view the photo. If the child chooses to view the photo, another screen appears with more information. Here, a message informs the child that sensitive photos and videos “show the private body parts that you cover with bathing suits” and “it’s not your fault, but sensitive photos and videos can be used to harm you.”

It also suggests that the person in the photo or video may not want it to be seen and it could have been shared without their knowing.

Image Credits: Apple

These warnings aim to help guide the child to make the right decision by choosing not to view the content.

However, if the child clicks through to view the photo anyway, they’ll then be shown an additional screen that informs them that if they choose to view the photo, their parents will be notified. The screen also explains that their parents want them to be safe and suggests that the child talk to someone if they feel pressured. It offers a link to more resources for getting help, as well.

There’s still an option at the bottom of the screen to view the photo, but again, it’s not the default choice. Instead, the screen is designed in a way where the option to not view the photo is highlighted.

These types of features could help protect children from sexual predators, not only by introducing technology that interrupts the communications and offers advice and resources, but also because the system will alert parents. In many cases where a child is hurt by a predator, parents didn’t even realize the child had begun to talk to that person online or by phone. This is because child predators are very manipulative and will attempt to gain the child’s trust, then isolate the child from their parents so they’ll keep the communications a secret. In other cases, the predators have groomed the parents, too.

Apple’s technology could help in both cases by intervening, identifying and alerting to explicit materials being shared.

However, a growing amount of CSAM material is what’s known as self-generated CSAM, or imagery that is taken by the child, which may be then shared consensually with the child’s partner or peers. In other words, sexting or sharing “nudes.” According to a 2019 survey from Thorn, a company developing technology to fight the sexual exploitation of children, this practice has become so common that 1 in 5 girls ages 13 to 17 said they have shared their own nudes, and 1 in 10 boys have done the same. But the child may not fully understand how sharing that imagery puts them at risk of sexual abuse and exploitation.

The new Messages feature will offer a similar set of protections here, too. In this case, if a child attempts to send an explicit photo, they’ll be warned before the photo is sent. Parents can also receive a message if the child chooses to send the photo anyway.

Apple says the new technology will arrive as part of a software update later this year to accounts set up as families in iCloud for iOS 15, iPadOS 15, and macOS Monterey in the U.S.

This update will also include updates to Siri and Search that will offer expanded guidance and resources to help children and parents stay safe online and get help in unsafe situations. For example, users will be able to ask Siri how to report CSAM or child exploitation. Siri and Search will also intervene when users search for queries related to CSAM to explain that the topic is harmful and provide resources to get help.

（文：Sarah Perez、翻訳：Hirokazu Kusakabe）

iCloud

Sign in to iCloud to access your photos, videos, documents, notes, contacts, and more. Use your Apple ID or create a new account to start using Apple services.

iCloud - Apple（日本）

iCloudは、あらゆるApple製デバイスに組み込まれています。あなたのすべての写真、ファイル、メモなどを安全に保存し、あなたがどこにいてもアクセスできるようにします。しかも、自動的に。

Windows 用 iCloud をダウンロードする - Apple サポート (日本)

Windows 用 iCloud を使えば、写真、ビデオ、メール、カレンダー、ファイルなどの重要な情報を、携帯用のデバイスでも Windows パソコンでも確認できるようになります。

iCloud - Apple サポート 公式サイト

iCloud の設定方法や使い方をご案内します。iCloud に関するさまざまなトピック、関連情報、お問い合わせ方法についてご案内します。

iCloud を入手 - Microsoft Store ja-JP

iCloud for Windowsでは、iCloudに保存されている写真、ビデオ、メール、カレンダー、その他の重要な情報が常に最新の状態に同期され、Windows PCからそれらにアクセスできます。 iCloud写真 • お使いのPCを含む、すべてのデバイス間で ...

PCからiCloudにログインする方法 - iMobie

PCでiCloudの同期内容や設定を確認・編集したいですか？その前は、iCloudにログインするのは必要です。この文章は、PCでicloud.comにアクセスして、iCloudにログインする方法をご説明します。

iCloud に保存したデータを確認する | スマートフォン・携帯電 …

 · iCloud に保存したデータをパソコンで確認する方法をご案内します。 5Gの新しい iPad Pro 登場！販売中 詳しくみる iPhone 12 パープル登場！販売中 詳しくみる SoftBank スマートフォン・携帯電話 製品情報 料金プラン キャンペーン ポイント ...

iCloudとは？設定と使い方 - iPhone入門

iCloudとは？設定と使い方 最終更新日 2020-12-30 14:54 iOS5で加わった iCloud (アイクラウド)。 Cloud(クラウド)とは、インターネット上にデータを保存して、ログインすればどの端末からもデータにアクセスできるようなサービス ですが、iPhoneの新しくなったOS、iOS5からiCloudというサービスが …

iPhoneの「iCloudストレージの空き容量が不足！」はこれで解 …

何気なくiPhoneを使っていると、突然「iCloudストレージの空き領域が不足しています」と表示されることがあります。放置でいいの？対処法は？その疑問を解決します。

iCloudって何ができるの？今さら聞けないバックアップと復元 ...

私たちの暮らしに欠かせないスマホ。写真や動画、メールやアプリの情報まで、スマホにはいろいろなデータ保存されています。そのため、iCloudを使ったバックアップはとても重要です。もしもの時に備えてiCloudを使ってiPhoneのデータをバックアップする方法をご紹介します。