YouTubeの動画レコメンドAIは依然として悪行を重ねていることが大規模調査で判明

今回は「YouTubeの動画レコメンドAIは依然として悪行を重ねていることが大規模調査で判明」についてご紹介します。

関連ワード （Google、Mozilla、YouTube、人工知能、動画等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

YouTubeの動画推薦アルゴリズムは長年、さまざまな社会悪を煽ってきたとして非難されてきた。YouTubeには、AIで増幅されたヘイトスピーチ、過激な政治思想、そして同社の広告インベントリに数十億人の目を釘付けにして荒稼ぎするための策略やデマの類があふれている。

YouTubeの親会社であるGoogle（グーグル）は、YouTubeのアルゴリズムが反社会的な動画を推薦していることをめぐって、ひどくなる一方の非難に対して時折対応策を講じているものの（いくつかのポリシー変更や憎しみに満ちたアカウトの制限や削除など）、ひどく不健全なクリックベイトを表示するYouTubeの傾向がどの程度復活しているのかは不明だ。

だが、そうした傾向が復活している疑いは限りなく強い。

Mozilla（モジラ）によって公開された新しい調査も同じ考えを支持している。YouTubeのAIによって「他人の不幸を利用して利益を得る」、低級で、争いの種になる、偽情報の動画コンテツが増え続けている。人々の怒りに火をつけ、分裂や分断を縫い合わせ、根拠のない有害な偽情報を拡散するといった行為によって人の目を引く類の動画だ。これらは、悪質な動画を推薦するYouTubeの問題が同社の体質的なものであることを暗示している。つまり、動画の再生回数を増やして広告の表示回数を稼ぐ同社の強欲さの副作用だ。

YouTubeのAIは依然としてひどい行為をしているというモジラの調査結果は、グーグルが少なくとも表面的には改善を行っていると主張することでうまく批判を和らげていることを示唆している。

このようにYouTubeの戦略が曲がりなりにも成功しているのは、推薦エンジンのアルゴリズムの仕組み（と関連付けられたデータ）を世間の目と外部の監視から隠す主要な保護メカニズムが「経営上の機密事項」という都合の良い隠れ蓑によって機能しているためと思われる。

しかし、このYouTube独自のAIブラックボックスをこじ開ける可能性のある規制が、少なくとも欧州では、採択されそうだ。

YouTubeのアルゴリズムを修正するために、モジラは「常識的な透明性を規定した法律、監視の強化、消費者による圧力」を求めており、YouTube AIの過剰機能による最悪の事態を抑制するために、AIシステムに透明性を強制的に導入し、独立した研究者を保護してアルゴリズムによる影響を調査できるようにし、堅牢な制御権（「パーソナライズ」された推薦をオフにする権利など）をYouTubeのユーザーに付与するといったさまざまな法律の組み合わせが必要になることを示唆している。

YouTubeユーザーに対して行われている具体的な推薦に関するデータ（グーグルはこのデータを外部の研究者に対して定期的に公開していない）を収集するため、モジラはクラウドソーシングによるアプローチを採用した。具体的には、ブラウザーの拡張機能（RegretsReporter）を使用して、ユーザーが視聴したことを後悔しているYouTube動画を自己報告できるようにした。

このツールを使用すると、ユーザーに対して推薦された動画（以前再生された動画も含む）の詳細情報を含むレポートを生成して、YouTubeの推薦システムがどの程度機能している（場合によっては「機能していない」）のかを示す実態を構築できる。

クラウドソースで自主的に回答した（モジラの調査にデータが使用された）ユーザーたちは、感染拡大する新型コロナウイルスの恐怖を利用した動画、政治的なデマ「極めて不適切な」子ども向け漫画など、さまざまな「残念な動画」を報告している。レポートによると、最も頻繁に報告されたコンテンツカテゴリーとして、デマ、暴力 / グラフィックコンテンツ、ヘイトスピーチ、スパム / スキャムなどがある。

残念動画のレポートの圧倒的多数（71％）がYouTubeのアルゴリズムによって推薦された動画に対するものだった。これは、YouTubeのAIがユーザーにゴミのような動画を押し付けるのに大きな役割を果たしていることを明確に示している。

また、この調査によって、推薦された動画のほうが調査回答者が自分で探した動画よりも報告される可能性が40％以上高かったことも判明した。

モジラによると、動画推薦アルゴリズムが、YouTube自身のコミュニティガイドラインに違反しているコンテンツまたは以前視聴された動画と関係のないコンテンツをユーザーに提示しているケースがかなり多数見つかったという。つまり、明らかに推薦に失敗したケースだ。

今回の調査結果で特筆すべき点は、視聴して後悔する残念なコンテンツは、非英語圏国のYouTubeユーザーにとって、より大きな問題となるらしいという点だ。モジラによると、YouTube動画を視聴して後悔する確率は英語が一次言語ではない国のほうが60％高かったという。具体的には、ブラジル、ドイツ、フランスではYouTubeの動画視聴で後悔するレベルが「とりわけ高かった」（この3か国は国際市場として決して小規模ではない）。

レポートによると、パンデミック関連の残念な動画もやはり、非英語圏国でより広く見受けられた。これは、世界中で健康危機が継続している今大いに懸念される点だ。

今回のクラウドソーシングによる調査（モジラによるとYouTubeの推薦アルゴリズムに関する調査では最大規模）は、前述の拡張機能をインストールした3万7000人を超えるYouTubeユーザーのデータに基づいているが、このうち実際に動画を報告したのは91カ国、1162人の回答者で、彼らが指摘した3362本の視聴して後悔した動画に基づいてレポートが作成された。

これらのレポートは2020年7月から2021年5月の間に生成された。

モジラのいうYouTubeの「残念な動画」とは実際のところ何を意味するのだろうか。モジラによると、これは、YouTube動画を視聴したときの悪い体験のユーザによる自己報告に基づくクラウドソーシング型概念だという。しかし、モジラによると、この「人力」方式のアプローチでは、インターネットユーザーの実際の経験に重点を置いているため、社会的に主流ではない、あるいは弱い立場の人たちやコミュニティの声をすくい上げるのに効果的だ（狭義の法的な意味での「有害」という言葉を当てはめて終わるのとは対照的だ）。

モジラのアドボカシー担当上級マネージャーで、今回のプロジェクトの主任研究者であるBrandi Geurkink（ブランディ・ゲルキンク）氏は、今回の調査の目的について次のように説明してくれた。「我々は、YouTube動画視聴の泥沼にはまり込んでしまう人々の体験を掘り下げて調査し、よく言われる不快な体験を率直に確認して、そこに埋もれている傾向を把握したかったのです」。

「この調査を実施して、我々が予想していたことの一部が事実であることが確認されたことは本当にショックでした。調査対象人数も少なく使用した方法にも制限のある調査ですが、それでも結果は極めてシンプルでした。データは我々が考えていたことの一部が確認されたことを示していたのです」。

「例えばコンテンツを推薦するアルゴリズムというのは基本的に誤りを犯すものという事実が確認されました。推薦した後で、『おっと、これは当社のポリシーに違反しているじゃないか。これをユーザーに積極的に推薦すべきではなかったな』という具合に。非英語圏のユーザーベースではもっとひどい体験をしているということもあります。こうしたことは事例としてはよく議論されるのを聞きますし、活動家はこれらの問題を取り上げています。しかし、私が今回の調査結果で感じたのは『すごい！データにはっきりと現れているじゃないか』ということです」。

モジラによると、今回のクラウドソーシングによる調査で、ヘイトスピーチや政治的 / 科学的なデマなど、YouTubeのコミュニティガイドラインに違反する可能性が高い、あるいは実際に違反する膨大な数のコンテンツ例が報告され明らかになったという。

またレポートでは、YouTubeが「ボーダーライン上のコンテンツ」とみなす可能性のある多くの動画が指摘されていたという。つまり、分類するのは難しいが、おそらく許容範囲を逸脱していると思われる低質の動画、アルゴリズムによるモデレーションシステムでは対応するのが難しい動画だ（こうしたコンテンツは削除のリスクを逃れ長期に渡って掲載されたままになる可能性がある）。

これに関連してレポートで指摘されているのは、YouTubeは（ガイドラインの中で説明はしているものの）ボーダーライン上のコンテンツの定義を提供していないという問題だ。このため、多くの回答者が「残念」として報告している動画の大半はYouTubeのいうボーダーライン上のコンテンツというカテゴリーに含まれるのだろうという研究者の仮説を検証する手立てがない、とモジラはいう。

グーグルのテクノロジーとプロセスの社会的影響を独自に研究するのを困難にしているのは、研究の基盤となるテーマに掴みどころがない点だ。ただし、モジラのレポートによると、YouTubeへの批判に対するグーグルの対応は「無気力で不透明」だとして非難されてもいる。

問題は、それだけに留まらない。批評家たちは、YouTubeの親会社であるグーグルが、憎しみに満ちた怒りや有害なデマによって生まれるエンゲージメントから利益を得ていることを長い間非難してきた。グーグルが、ユーザー生成コンテンツという名目の下で低質コンテンツビジネスを擁護している間にも、AIによって生成された憎しみの泡によってさらに有害な（それだけに見るものを強力に惹きつける）コンテンツが出現し、疑うことを知らない無防備なYouTube視聴者はますます不快で過激なコンテンツに曝されることになる。

実際「YouTube動画の泥沼にはまる」という表現は、無防備なインターネットユーザーが暗く不快なウエブの片隅に引きずり込まれるプロセスを説明する常套文句となっている。このユーザーの思考回路の修正（洗脳）はAIによって生成された推薦によって白昼公然と行われており、YouTubeという主流ウエブプラットフォームから陰謀論のパンくずリストをたどるよう人々に叫んでいるのである。

2017年、オンラインテロとソーシャルメディアでのISISコンテンツの拡散について懸念が高まっていた頃、欧州の政治家たちはYouTubeのアルゴリズムを自動過激化と称して非難していた。

とはいえ、個々のYouTubeユーザーが過激なコンテンツや陰謀論動画を再生した後「過激化」されているという事例レポートを裏付ける信頼できるデータを取得するのは依然として難しい。

YouTubeの前社員Guillaume Chaslot（ギヨーム・チャスロット）氏は、algotransparencyプロジェクトによって、これまでYouTubeの独自テクノロジーを詳細な調査から保護してきた障害を排除する取り組みを続けてきた著名な批評家の1人だ。

モジラのクラウドソーシングによる調査は、チャスロット氏の取り組みを基礎として、ユーザー自身の不快な体験の各レポートを照合して、いろいろと問題の多いYouTube AIの全体像を浮かび上がらせようとしたものだ。

もちろん、グーグルのみが（詳細度と量の両面において）全体を保持しているプラットフォームレベルのデータを外部からサンプリングするだけで全体像は得られない。それに、自己報告では、モジラのデータセットにバイアスが導入される可能性もある。しかし、モジラはプラットフォームのパワーの適切な監視を支持する立場をとっているため、テック大手のブラックボックスを効果的に研究するという問題は、今回の調査にともなう重要なポイントだ。

レポートでは、一連の推奨事項として「堅牢な透明性、精密な調査、ユーザーに推薦アルゴリズムのコントロール権を付与すること」を求め、適正な監視なしでは、精神的損害を与え人を脳死状態にするコンテンツに、何も考えずにユーザーを晒すことで、YouTubeは今後も有害であり続けると主張している。

YouTubeの大半の機能において問題となっている透明性の欠如は、レポートのその他の詳細部分からも見て取れる。例えばモジラは推薦された残念な動画のうち約9％（200本近い動画）が削除されていることを確認した。削除の理由はさまざまだが、いつも明確な理由があるわけではない（コンテンツが報告され、おそらくYouTubeが同社のガイドラインに違反していると判断した後に削除されたものもある）。

合計すると、こうした一部の動画だけで、何らかの理由で削除される前の合計再生回数は1億6000万回にもなる。

また、残念な動画ほどYouTubeプラットフォーム上で高い収益を上げる傾向があることも今回の調査で判明した。

狂っているとしか思えない数字だが、報告された残念な動画は、回答者が視聴した他の動画よりも、1日あたりの再生回数が70%も多い。この事実は、YouTubeのエンゲージメント最適化アルゴリズムが、単にクリック回数を稼げるという理由だけで、（よく考えられた、有益な情報をもたらす）高品質の動画よりも扇動的な、あるいは誤解を与えるコンテンツのほうを偏って選択するという主張に説得力を与える。

これはグーグルのビジネスにはすばらしいことかもしれない。しかし、民主社会では、ばかげた情報よりも本物の情報に、人工的な / 増幅されたコンピュータ上のデータよりも正真正銘の公開された議論に、争いの種となる部族主義よりも建設的な市民の団結に価値を見出す。そのような民主社会にとって、YouTubeのアルゴリズムは明らかにマイナスだ。

しかし、広告プラットフォームに対する法的な強制力のある透明性要件がないかぎり、そして何より、監査当局による規制の監視と実施がなければ、今後もこうしたテック大手に、無防備なユーザーに目をつけ、社会的犠牲と引き換えに収益を上げる動機を与え続けることになる。

モジラのレポートでは、YouTubeのアルゴリズムが明らかに、コンテンツ自体とは無関係のロジックによって動いている実例も強調している。回答者が残念な動画を報告する前に視聴した動画についてのデータを研究者が持っているケースのうち、実に43.6％で、以前視聴した動画とまったく無関係の動画が推薦されているという結果が得られた。

レポートでは、このような理屈に合わないAIによる推薦コンテンツの急転換の実例を上げている。例えば米国軍の動画を見た人が、その直後に「口コミ動画でフェミニストを侮辱する男性」というタイトルの女性蔑視動画を推薦された例などだ。

ソフトウェア所有権に関する動画を見た後、銃所有権に関する動画を推薦された例もある。2つの権利（right）によって、YouTubeの推薦間違い（wrong）がまた増えたわけだ。

さらには、Art Garfunkelのミュージック動画を見た後「トランプのディベート司会者が民主党と深いつながりがあることが判明、メディアの偏向が限界点に」というタイトルの政治関連動画を推薦された例もある。

こうした間抜けな推薦に対しては「何だって？！」と反応するしかない。

こうした事例のYouTubeの出力は、控えめにいっても「AIの屁のようなもの」としか思えない。

寛大に解釈すれば、アルゴリズムが混乱して間抜けな推薦をしてしまったということなのかもしれない。とはいえ、レポートでは、こうした混乱によって、YouTubeユーザーが、右寄りの政治的偏向のあるコンテンツを見るよう仕向けられている多くの例が紹介されているのは、興味深い。

モジラのゲルキンク氏に最も懸念される点を尋ねると、次のように答えてくれた。「1つは、デマがYouTubeプラットフォーム上で明らかに大きな問題として浮上しているという点です。モジラの支持者や世界中の人たちに聞いた話によると、人々がオンラインに流れるデマについて懸念していることは明白です。ですから、その問題がYouTubeアルゴリズムで最大の問題として浮上しているという事実は大いに懸念されるところです」。

同氏は、もう1つの大きな懸念材料として、推薦動画の問題が非英語圏のユーザーにとって、より深刻になっている点を挙げ、YouTubeプラットフォーム上における世界的な不平等によって「十分に配慮してもらえない」という問題が、そうした問題が議論されているにもかかわらず起こっていることを示唆した。

モジラのレポートに対してグーグルの広報担当にコメントを求めたところ、次のような返事が返ってきた。

当社の推薦システムの目標は、視聴者をいつでもお好みのコンテンツと結びつけることです。ホームページ上だけで2億本を超える動画が推薦されています。システムには、視聴者に好みの動画を尋ねたアンケートの回答を含め、800億を超える情報が入力として与えられています。当社はYouTube上での体験を改善するための取り組みを継続的に行っており、2020年だけで有害コンテンツの推薦を削減するために30カ所を超える変更を実施しました。この変更により、システムによってボーダーライン上のコンテンツが推薦され、ユーザーがそのコンテンツを再生する率は1%をはるかに下回るようになっています。

グーグルはまた、YouTubeに対する調査を歓迎するとし、プラットフォーム調査のために外部の研究者を迎え入れるオプションを検討していることを示唆したが、具体的な内容については触れなかった。

同時に、モジラの調査における「残念な」コンテンツの定義について疑問を呈し、グーグル独自のユーザー調査では、ユーザーはYouTubeの推薦するコンテンツに概ね満足していると主張した。

さらに、実際の発言は引用できないが、グーグルは2021年はじめ、 YouTube向けに「違反再生率」（VVR）という指標の公開を開始した。これは、YouTubeのポリシーに違反しているコンテンツのYouTube上での再生回数割合を初めて公開したものだ。

最新のVVRは0.16～0.18％で、これは、グーグルによると、YouTube上で1万回動画が再生されるたびに、16～18本の違反コンテンツが見つかることを意味する。この数字は、2017年の同四半期と比較して70%以上低下しており、機械学習に投資したことが大きな低下の要因だとしている。

ただし、ゲルキンク氏が指摘しているとおり、グーグル自身のルールにYouTube上で再生すべきではないと明記されているコンテツの再生回数の増加に、どの程度AIが絡んでいるかをコンテキスト化および定量化するためのデータをグーグルが公開しないかぎり、VVRは指標としてはあまり役に立たない。この重要なデータがないかぎり、VVRは大きな見当違いとなる疑いが強い。

「VVRよりも奥深く、本当に役に立つのは、こうしたことに推薦アルゴリズムが果たしている役割を理解することです」とゲルキンク氏は指摘し、次のように付け加えた。「この点は未だに完全なブラックボックスです。透明性が向上しなければ、改善されているというグーグルの主張は話半分に聞いておく必要があります」。

グーグルは、YouTubeの推薦アルゴリズムが「ボーダーライン上のコンテンツ」（つまり、ポリシーには違反していないがグレーゾーンに入る問題のあるコンテンツ）を処理する方法について、2019年に同社が行った変更についても指摘した。この変更によって、この種のコンテンツの視聴時間が70％減少したという。

グーグルは、こうしたボーダーラインカテゴリーは固定されていないことを認めており、変化するトレンドやコンテキストを考慮に入れ、専門家と協力してボーダーラインに分類される動画を決定しているという。ということは、測定の基準となる固定ベースラインが存在しないということだから、上記の70%の減少という数字はほとんど意味がないことになる。

モジラのレポートに対するグーグルの反応で、英語圏以外の市場のアンケート回答者によって報告された経験の質の低下について言及していない点は注目に値する。ゲルキンク氏が示唆しているとおり、一般に、YouTubeが行っているという多くの緩和策は、米国や英国などの英語圏市場に地理的に限定されている（あるいは、まずそうした英語圏市場で対応策を実施してから、その他の市場に徐々に展開されていく）。

例えば2019年1月に米国で実施された陰謀論コンテンツの増殖を抑える変更は、数カ月後の8月になってようやく英国市場にも拡張された。

「YouTubeはここ数年、米国および英語圏市場についてのみ、有害な、またはボーダライン上のコンテンツの推薦について改善を実施したことを報告してきました」と同氏はいう。「この点について疑問を呈する人はほとんどいませんが、英語圏以外の市場はどうなったのでしょうか。個人的には、そちらのほうがもっと注目および精査されてよいと思います」。

我々はグーグルに対して、2019年の陰謀論関連の変更を全世界の市場に適用したのかどうかを確認する質問をした。同社の広報担当によれば、適用したという。しかし、非英語圏市場のほうが、より広範な残念なコンテンツが報告される率がはるかに高いままであることは注目に値する。

明らかに不釣り合いな高いレポート件数を見ると、その他の要因が作用している可能性もあるが、今回の調査結果によってもう1つわかったことは、YouTubeのネガティブな影響に関するかぎり、グーグルは、同社の評価を下げるリスクとコンテンツを自動分類する機械学習テクノロジーの能力が最も高い市場と言語に最大のリソースを投入しているということだ。

AI関連のリスクに対するこうした不平等な対応によって、一部のユーザーが有害な動画のより大きなリスクに曝されることは明白だ。現時点でも多面的で多岐に渡る問題に、不公平という有害な側面が追加された形だ。

これは、強力なプラットフォームが、自身のAIを自身で評価し、自身の宿題を自身で採点し、心底心配しているユーザーに利己的なPRで対抗する状態を放置していることがいかにばかばかしいかというもう1つの理由でもある。

（グーグルは、記事の背景を埋めるだけの上記の言葉だけでなく、自身を、検索と発見アルゴリズムに「権威」を組み込んだ業界で最初の企業であると説明している。ただし、そのような取り組みを正確にいつ行ったのか、そのような取り組みが「世界中の情報を編成し、世界中でアクセス可能かつ有益なものにする」という同社の掲げるミッションを情報源の相対価値を考慮に入れることなく、どのようにして実現できると考えているのかについては説明されていない。そうした主張には当惑してしまう。おそらく偽情報でライバル企業を惑わす不器用な試みである可能性が高いと思うが）。

規制の話に戻ると、EUの提案しているDigital Services Act（DSA、デジタルサービス法）は、説明責任の手段としての広範なパッケージの一部として、大手デジタルプラットフォームにある程度の透明性要件を導入するものだ。この点についてゲルキンク氏に質問すると「DSAは高い透明性を実現するための有望な手段」であると説明してくれた。

しかし、YouTube AIのような推薦システムを規制するには、さらなる法制化を進める必要があることを同氏は示唆した。

「推薦システムの透明性、ユーザーが自分自身のデータの使用許諾を与える権限を持つこと、そして推薦の出力は非常に重要だと考えています。これらは、現在のDSAでは、対応しきれない手薄な部分でもあります。ですから、この部分に腰を据えて取り組む必要があります」と同氏はいう。

同氏が支持を表明している1つの考え方は「データアクセスフレームワーク」を法律に組み込むことで、チェックを受けた研究者が強力なAIテクノロジーを調査するために必要な情報を十分に取得できるようにするというものだ。このアイデアは「透明性に関するさまざまな条項と適用可能とすべき情報の長いリスト」を法律で提示しようとする方法とは対照的だ。

また、EUは現在、AI規制に関する草案を審議中だ。法制化には、人工知能の特定分野への適用の規制に対するリスクベースのアプローチが必要となる。ただし、YouTubeの推薦システムが、より入念に規制されるカテゴリーの1つに収まるのか、あるいは、計画されている法律のまったくの範囲外になるのかは未定だ。（初期の委員会提案では少なくとも）後者の可能性が高そうだが。

「この提案の初期の草案では、人の振る舞いを操作するシステムについて規定しており、これはまさに推薦システムのことです。と同時に、それはある意味、一般に広告の目標であると考えることもできます。ですから、推薦システムがそうしたシステムのどこに分類されるのかを理解するのは簡単ではありませんでした」。

「DSAにおける堅牢なデータアクセスの提供と新しいAI規制の間には、うまく調和する部分があるのかもしれません」と同氏は付け加えた。「最終的に求められるのは透明性ですから、そうしたより高い透明性を実現できるのであれば、良いことです」。

「YouTubeもやろうと思えば十分な透明性を実現できたはずです。我々は、もう何年もこの問題に取り組んでいますが、同社がこの問題について何か有意義な対策を講じたのを見たことがありません。この点は我々も心に留めておきたいと思います。法制化には数年かかります。ですから、我々が推奨したことが一部でもグーグルに採用されれば、それは正しい方向への大きな一歩となるでしょう」。

関連記事
・トランプ氏がソーシャルメディア企業を訴える、「訴訟」という新たなツイートで世界に発信か
・アルゴリズムに焦点を当てた第230条の改正に向け米議員が公聴会で討議
・次のテック公聴会の標的はSNSのアルゴリズム、YouTubeが初めて証言へ

画像クレジット：TechCrunch

【原文】

For years YouTube’s video-recommending algorithm has stood accused of fuelling a grab bag of societal ills by feeding users an AI-amplified diet of hate speech, political extremism and/or conspiracy junk/disinformation for the profiteering motive of trying to keep billions of eyeballs stuck to its ad inventory.

And while YouTube’s tech giant parent Google has, sporadically, responded to negative publicity flaring up around the algorithm’s antisocial recommendations — announcing a few policy tweaks or limiting/purging the odd hateful account — it’s not clear how far the platform’s penchant for promoting horribly unhealthy clickbait has actually been rebooted.

The suspicion remains nowhere near far enough.

New research published today by Mozilla backs that notion up, suggesting YouTube’s AI continues to puff up piles of “bottom-feeding”/low-grade/divisive/disinforming content — stuff that tries to grab eyeballs by triggering people’s sense of outrage, sewing division/polarization or spreading baseless/harmful disinformation — which in turn implies that YouTube’s problem with recommending terrible stuff is indeed systemic; a side effect of the platform’s rapacious appetite to harvest views to serve ads.

That YouTube’s AI is still — per Mozilla’s study — behaving so badly also suggests Google has been pretty successful at fuzzing criticism with superficial claims of reform.

The mainstay of its deflective success here is likely the primary protection mechanism of keeping the recommender engine’s algorithmic workings (and associated data) hidden from public view and external oversight — via the convenient shield of “commercial secrecy.”

But regulation that could help crack open proprietary AI blackboxes is now on the cards — at least in Europe.

To fix YouTube’s algorithm, Mozilla is calling for “common sense transparency laws, better oversight, and consumer pressure” — suggesting a combination of laws that mandate transparency into AI systems; protect independent researchers so they can interrogate algorithmic impacts; and empower platform users with robust controls (such as the ability to opt out of “personalized” recommendations) are what’s needed to rein in the worst excesses of the YouTube AI.

Regrets, YouTube users have had a few …

To gather data on specific recommendations being made made to YouTube users — information that Google does not routinely make available to external researchers — Mozilla took a crowdsourced approach, via a browser extension (called RegretsReporter) that lets users self-report YouTube videos they “regret” watching.

The tool can generate a report that includes details of the videos the user had been recommended, as well as earlier video views, to help build up a picture of how YouTube’s recommender system was functioning. (Or, well, “dysfunctioning” as the case may be.)

The crowdsourced volunteers whose data fed Mozilla’s research reported a wide variety of “regrets,” including videos spreading COVID-19 fear-mongering, political misinformation and “wildly inappropriate” children’s cartoons, per the report — with the most frequently reported content categories being misinformation, violent/graphic content, hate speech and spam/scams.

A substantial majority (71%) of the regret reports came from videos that had been recommended by YouTube’s algorithm itself, underscoring the AI’s starring role in pushing junk into people’s eyeballs.

The research also found that recommended videos were 40% more likely to be reported by the volunteers than videos they’d searched for themselves.

Mozilla even found “several” instances when the recommender algorithmic put content in front of users that violated YouTube’s own community guidelines and/or was unrelated to the previous video watched. So a clear fail.

A very notable finding was that regrettable content appears to be a greater problem for YouTube users in non-English speaking countries: Mozilla found YouTube regrets were 60% higher in countries without English as a primary language — with Brazil, Germany and France generating what the report said were “particularly high” levels of regretful YouTubing. (And none of the three can be classed as minor international markets.)

Pandemic-related regrets were also especially prevalent in non-English speaking countries, per the report — a worrying detail to read in the middle of an ongoing global health crisis.

The crowdsourced study — which Mozilla bills as the largest-ever into YouTube’s recommender algorithm — drew on data from more than 37,000 YouTube users who installed the extension, although it was a subset of 1,162 volunteers — from 91 countries — who submitted reports that flagged 3,362 regrettable videos that the report draws on directly.

These reports were generated between July 2020 and May 2021.

What exactly does Mozilla mean by a YouTube “regret”? It says this is a crowdsourced concept based on users self-reporting bad experiences on YouTube, so it’s a subjective measure. But Mozilla argues that taking this “people-powered” approach centres the lived experiences of internet users and is therefore helpful in foregrounding the experiences of marginalised and/or vulnerable people and communities (versus, for example, applying only a narrower, legal definition of “harm”).

“We wanted to interrogate and explore further [people’s experiences of falling down the YouTube “rabbit hole”] and frankly confirm some of these stories — but then also just understand further what are some of the trends that emerged in that,” explained Brandi Geurkink, Mozilla ’s senior manager of advocacy and the lead researcher for the project, discussing the aims of the research.

“My main feeling in doing this work was being — I guess — shocked that some of what we had expected to be the case was confirmed … It’s still a limited study in terms of the number of people involved and the methodology that we used but — even with that — it was quite simple; the data just showed that some of what we thought was confirmed.

“Things like the algorithm recommending content essentially accidentally, that it later is like ‘oops, this actually violates our policies; we shouldn’t have actively suggested that to people’ … And things like the non-English-speaking user base having worse experiences — these are things you hear discussed a lot anecdotally and activists have raised these issues. But I was just like — oh wow, it’s actually coming out really clearly in our data.”

Mozilla says the crowdsourced research uncovered “numerous examples” of reported content that would likely or actually breach YouTube’s community guidelines — such as hate speech or debunked political and scientific misinformation.

But it also says the reports flagged a lot of what YouTube “may” consider “borderline content.” Aka, stuff that’s harder to categorize — junk/low-quality videos that perhaps toe the acceptability line and may therefore be trickier for the platform’s algorithmic moderation systems to respond to (and thus content that may also survive the risk of a takedown for longer).

However a related issue the report flags is that YouTube doesn’t provide a definition for borderline content — despite discussing the category in its own guidelines — hence, says Mozilla, that makes the researchers’ assumption that much of what the volunteers were reporting as “regretful” would likely fall into YouTube’s own “borderline content” category impossible to verify.

The challenge of independently studying the societal effects of Google’s tech and processes is a running theme underlying the research. But Mozilla’s report also accuses the tech giant of meeting YouTube criticism with “inertia and opacity.”

It’s not alone there either. Critics have long accused YouTube’s ad giant parent of profiting off of engagement generated by hateful outrage and harmful disinformation — allowing “AI-generated bubbles of hate” to surface ever-more baleful (and thus stickily engaging) stuff, exposing unsuspecting YouTube users to increasingly unpleasant and extremist views, even as Google gets to shield its low-grade content business under a user-generated-content umbrella.

Indeed, “falling down the YouTube rabbit hole” has become a well-trodden metaphor for discussing the process of unsuspecting internet users being dragging into the darkest and nastiest corners of the web. This user reprogramming taking place in broad daylight via AI-generated suggestions that yell at people to follow the conspiracy breadcrumb trail right from inside a mainstream web platform.

Back as 2017 — when concern was riding high about online terrorism and the proliferation of ISIS content on social media — politicians in Europe were accusing YouTube’s algorithm of exactly this: Automating radicalization.

However it’s remained difficult to get hard data to back up anecdotal reports of individual YouTube users being “radicalized” after viewing hours of extremist content or conspiracy theory junk on Google’s platform.

Ex-YouTube insider — Guillaume Chaslot — is one notable critic who’s sought to pull back the curtain shielding the proprietary tech from deeper scrutiny, via his algotransparency project.

Mozilla’s crowdsourced research adds to those efforts by sketching a broad — and broadly problematic — picture of the YouTube AI by collating reports of bad experiences from users themselves.

Of course externally sampling platform-level data that only Google holds in full (at its true depth and dimension) can’t be the whole picture — and self-reporting, in particular, may introduce its own set of biases into Mozilla’s data set. But the problem of effectively studying Big Tech’s blackboxes is a key point accompanying the research, as Mozilla advocates for proper oversight of platform power.

In a series of recommendations the report calls for “robust transparency, scrutiny, and giving people control of recommendation algorithms” — arguing that without proper oversight of the platform, YouTube will continue to be harmful by mindlessly exposing people to damaging and braindead content.

The problematic lack of transparency around so much of how YouTube functions can be picked up from other details in the report. For example, Mozilla found that around 9% of recommended regrets (or almost 200 videos) had since been taken down — for a variety of not always clear reasons (sometimes, presumably, after the content was reported and judged by YouTube to have violated its guidelines).

Collectively, just this subset of videos had a total of 160 million views prior to being removed for whatever reason.

In other findings, the research found that regretful views tend to perform well on the platform.

A particular stark metric is that reported regrets acquired a full 70% more views per day than other videos watched by the volunteers on the platform — lending weight to the argument that YouTube’s engagement-optimising algorithms disproportionately select for triggering/misinforming content more often than quality (thoughtful/informing) stuff simply because it brings in the clicks.

While that might be great for Google’s ad business, it’s clearly a net negative for democratic societies that value truthful information over nonsense; genuine public debate over artificial/amplified binaries; and constructive civic cohesion over divisive tribalism.

But without legally enforced transparency requirements on ad platforms — and, most likely, regulatory oversight and enforcement that features audit powers — these tech giants are going to continue to be incentivized to turn a blind eye and cash in at society’s expense.

Mozilla’s report also underlines instances where YouTube’s algorithms are clearly driven by a logic that’s unrelated to the content itself — with a finding that in 43.6% of the cases where the researchers had data about the videos a participant had watched before a reported regret the recommendation was completely unrelated to the previous video.

The report gives examples of some of these logic-defying AI content pivots/leaps/pitfalls — such as a person watching videos about the U.S. military and then being recommended a misogynistic video entitled “Man humiliates feminist in viral video.”

In another instance, a person watched a video about software rights and was then recommended a video about gun rights. So two rights make yet another wrong YouTube recommendation right there.

In a third example, a person watched an Art Garfunkel music video and was then recommended a political video entitled “Trump Debate Moderator EXPOSED as having Deep Democrat Ties, Media Bias Reaches BREAKING Point.”

To which the only sane response is, umm what???

YouTube’s output in such instances seems — at best — some sort of “AI brain fart.”

A generous interpretation might be that the algorithm got stupidly confused. Albeit, in a number of the examples cited in the report, the confusion is leading YouTube users toward content with a right-leaning political bias. Which seems, well, curious.

Asked what she views as the most concerning findings, Mozilla’s Geurkink told TechCrunch: “One is how clearly misinformation emerged as a dominant problem on the platform. I think that’s something, based on our work talking to Mozilla supporters and people from all around the world, that is a really obvious thing that people are concerned about online. So to see that that is what is emerging as the biggest problem with the YouTube algorithm is really concerning to me.”

She also highlighted the problem of the recommendations being worse for non-English-speaking users as another major concern, suggesting that global inequalities in users’ experiences of platform impacts “doesn’t get enough attention” — even when such issues do get discussed.

Responding to Mozilla’s report in a statement, a Google spokesperson sent us this statement:

The goal of our recommendation system is to connect viewers with content they love and on any given day, more than 200 million videos are recommended on the homepage alone. Over 80 billion pieces of information is used to help inform our systems, including survey responses from viewers on what they want to watch. We constantly work to improve the experience on YouTube and over the past year alone, we’ve launched over 30 different changes to reduce recommendations of harmful content. Thanks to this change, consumption of borderline content that comes from our recommendations is now significantly below 1%.

Google also claimed it welcomes research into YouTube — and suggested it’s exploring options to bring in external researchers to study the platform, without offering anything concrete on that front.

At the same time, its response queried how Mozilla’s study defines “regrettable” content — and went on to claim that its own user surveys generally show users are satisfied with the content that YouTube recommends.

In further nonquotable remarks, Google noted that earlier this year it started disclosing a “violative view rate” (VVR) metric for YouTube — disclosing for the first time the percentage of views on YouTube that comes from content that violates its policies.

The most recent VVR stands at 0.16%-0.18% — which Google says means that out of every 10,000 views on YouTube, 16-18 come from violative content. It said that figure is down by more than 70% when compared to the same quarter of 2017 — crediting its investments in machine learning as largely being responsible for the drop.

However, as Geurkink noted, the VVR is of limited use without Google releasing more data to contextualize and quantify how far its AI was involved in accelerating views of content its own rules state shouldn’t be viewed on its platform. Without that key data the suspicion must be that the VVR is a nice bit of misdirection.

“What would be going further than [VVR] — and what would be really, really helpful — is understanding what’s the role that the recommendation algorithm plays in this?” Geurkink told us on that, adding: “That’s what is a complete blackbox still. In the absence of greater transparency [Google’s] claims of progress have to be taken with a grain of salt.”

Google also flagged a 2019 change it made to how YouTube’s recommender algorithm handles “borderline content” — aka, content that doesn’t violate policies but falls into a problematic grey area — saying that that tweak had also resulted in a 70% drop in watch time for this type of content.

Although the company confirmed this borderline category is a moveable feast — saying it factors in changing trends as well as context and also works with experts to determine what get classed as borderline — which makes the aforementioned percentage drop pretty meaningless since there’s no fixed baseline to measure against.

It’s notable that Google’s response to Mozilla’s report makes no mention of the poor experience reported by survey participants in non-English-speaking markets. And Geurkink suggested that, in general, many of the claimed mitigating measures YouTube applies are geographically limited — i.e., to English-speaking markets like the U.S. and U.K. (Or at least arrive in those markets first, before a slower rollout to other places.) 

A January 2019 tweak to reduce amplification of conspiracy-theory content in the U.S. was only expanded to the U.K. market months later — in August — for example.

“YouTube, for the past few years, have only been reporting on their progress of recommendations of harmful or borderline content in the U.S. and in English-speaking markets,” she also  said. “And there are very few people questioning that — what about the rest of the world? To me that is something that really deserves more attention and more scrutiny.”

We asked Google to confirm whether it had since applied the 2019 conspiracy-theory-related changes globally — and a spokeswoman told us that it had. But the much higher rate of reports made to Mozilla of — a yes broader measure of — “regrettable” content being made in non-English-speaking markets remains notable.

And while there could be others factors at play, which might explain some of the disproportionately higher reporting, the finding may also suggest that, where YouTube’s negative impacts are concerned, Google directs greatest resource at markets and languages where its reputational risk and the capacity of its machine-learning tech to automate content categorization are strongest.

Yet any such unequal response to AI risk obviously means leaving some users at greater risk of harm than others — adding another harmful dimension and layer of unfairness to what is already a multifaceted, hydra-head of a problem.

It’s yet another reason why leaving it up to powerful platforms to rate their own AIs, mark their own homework and counter genuine concerns with self-serving PR is for the birds.

(In additional filler background remarks it sent us, Google described itself as the first company in the industry to incorporate “authoritativeness” into its search and discovery algorithms — without explaining when exactly it claims to have done that or how it imagined it would be able to deliver on its stated mission of “organizing the world’s information and making it universally accessible and useful” without considering the relative value of information sources. So color us baffled at that claim. Most likely it’s a clumsy attempt to throw disinformation shade at rivals.)

Returning to the regulation point, an EU proposal — the Digital Services Act — is set to introduce some transparency requirements on large digital platforms, as part of a wider package of accountability measures. And asked about this Geurkink described the DSA as “a promising avenue for greater transparency.”

But she suggested the legislation needs to go further to tackle recommender systems like the YouTube AI.

“I think that transparency around recommender systems specifically and also people having control over the input of their own data and then the output of recommendations is really important — and is a place where the DSA is currently a bit sparse, so I think that’s where we really need to dig in,” she told us.

One idea she voiced support for is having a “data access framework” baked into the law — to enable vetted researchers to get more of the information they need to study powerful AI technologies — i.e., rather than the law trying to come up with “a laundry list of all of the different pieces of transparency and information that should be applicable,” as she put it.

The EU also now has a draft AI regulation on the table. The legislative plan takes a risk-based approach to regulating certain applications of artificial intelligence. However it’s not clear whether YouTube’s recommender system would fall under one of the more closely regulated categories — or, as seems more likely (at least with the initial Commission proposal), fall entirely outside the scope of the planned law.

“An earlier draft of the proposal talked about systems that manipulate human behavior, which is essentially what recommender systems are. And one could also argue that’s the goal of advertising at large, in some sense. So it was sort of difficult to understand exactly where recommender systems would fall into that,” noted Geurkink.

“There might be a nice harmony between some of the robust data access provisions in the DSA and the new AI regulation,” she added. “I think transparency is what it comes down to, so anything that can provide that kind of greater transparency is a good thing.

“YouTube could also just provide a lot of this … We’ve been working on this for years now and we haven’t seen them take any meaningful action on this front but it’s also, I think, something that we want to keep in mind — legislation can obviously take years. So even if a few of our recommendations were taken up [by Google] that would be a really big step in the right direction.”

（文：Natasha Lomas、翻訳：Dragonfly）