AIを使ってオンライン上の有害なやりとりを検出するSpectrum Labsが約37億円調達

今回は「AIを使ってオンライン上の有害なやりとりを検出するSpectrum Labsが約37億円調達」についてご紹介します。

関連ワード （微妙、設計、違法行為等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

パンデミックから2年経った今も、多くの人にとってはオンライン上での会話が日々の主要な交流手段となっている。そのためオンライン上で交わされる会話の数は計り知れない量となっているが、ご存じの通りそれらすべてがクリーンでポジティブなものではない。米国現地時間1月24日、プラットフォームプロバイダーに人工知能技術を提供し、有害なやり取りをリアルタイム（20ミリ秒以下）で検出してシャットダウンするというSpectrum Labs（スペクトラム・ラブス）と呼ばれるスタートアップが3200万ドル（約37億円）の資金を調達したと発表した。この資金は、成長中の消費者向けビジネスをさらに強化するための技術に投入される他、社内および顧客との会話のための企業向けサービスを提供するという新たな分野への進出に向けて使用され、会話中の有害性を検知するだけでなく、監査トレイルを提供することでより高い信頼性と安全性を届ける計画である。

「思いやりを重んじる言語界のリーダーになることを目指しています」とCEOのJustin Davis（ジャスティン・デイビス）氏はインタビュー中で話している。

今回のラウンドはIntel Capital（インテルキャピタル）がリードし、Munich Re Ventures（ミューニック・リー・ベンチャーズ）、Gaingels（ガインゲル）、OurCrowd（アワクラウド）、Harris Barton（ハリス・バートン）の他、前回からの支援者であるWing Venture Capital（ウィング・ベンチャー・キャピタル）、Greycroft（グレークロフト）、Ridge Ventures（リッジ・ベンチャーズ）、Super{set}（スーパーセット）、Global Founders Capital（グローバル・ファンダーズ・キャピタル）も参加している。Greycroftは2020年9月にSpectrumの前回ラウンドの1000万ドル（約11億5400万円）を主導しており、Spectrumはこれで現在合計4600万ドル（約53億円）を調達したことになる。

関連記事：有害コンテンツと戦うAIプラットフォーム開発のSpectrum Labsが1000億円超を調達

CTOのJosh Newman（ジョシュ・ニューマン）氏と共同で同社を設立したデイビス氏によると、Spectrum Labsは評価額を公開していないというが、同社の事業規模がその様子を物語っている。

現在Spectrum Labsは、ソーシャルネットワーキング企業のPinterest（ピンタレスト）やThe Meet Group（ザ・ミート・グループ）、出会い系サイトのGrindr（グリンダー）、Jimmy Wales（ジミー・ウェールズ）氏が運営するエンターテインメントWikiのFandom（ファンダム）、Riot Games（ライアットゲームズ）、eラーニングプラットフォームのUdemy（ユーデミー）など20以上の大手プラットフォームと提携しており、これらのプラットフォームでは、何百万人もの顧客が毎日オープンなチャットルームやよりプライベートな会話の中で、何十億ものメッセージを送り合っている。

同社のテクノロジーは自然言語に基づいており、テキストベースの会話と音声の会話の両方をリアルタイムで検出するというものだ。

Spectrumでは音声がテキストに書き起こされるのではなく、音声として「読まれる」のだとデイビス氏は説明する。これによりSpectrumの顧客は有害なやり取りへの対応を大幅に早めることができ、デイビス氏が「ワイルドウェスト特有の言語」と呼ぶ有害な言葉を妨げることが可能になる。Spectrumの技術を使用していない一般的な企業の対応では、ユーザーが問題のあるコンテンツを通報した後、書き起こされた音声の中からその音声を見つけなければならなず、対応にかなりの時間を要してしまう。

ポッドキャスティングだけでなく、Clubhouse（クラブハウス）やTwitter（ツイッター）のSpaces（スペース）のような音声ベースのサービスが人気を博していることから、このテクノロジーはよりいっそう重要なものとなるだろう。

テキストであれオーディオであれ、Spectrumはこれらのやり取りをスキャンし、40以上の行動プロファイルにまたがるあらゆる有害コンテンツを検出するのである。この技術は世界中の研究者や学者と相談しながら構築されたもので、増え続けるウェブ上のデータを取り込みながらさらに改良が重ねられている。プロファイルにはハラスメント、ヘイトスピーチ、暴力的過激主義、詐欺、グルーミング、違法な勧誘、ドキシングなどが含まれており、また現在約40の言語でのスキャンに対応しているという。言語の制限はなく、どんな言語でも機能するとデイビス氏は話している。

「技術的にはどんな言語でも数週間で対応することができます」と同氏。

オンライン上で最も有害性の高い領域はやはり消費者分野である。オープンフォーラムやよりプライベートな空間でのいじめやヘイトスピーチ、その他の違法行為が日々繰り広げられている。Spectrum Labsでは、これまで以上に複雑になった悪質な行為者の手法を検出するための技術への投資をこれからも継続していく予定だ。同社ではプラットフォームの信頼性・安全性チーム向けの管理機能やツールに加えて、ユーザー自身が晒されても良いもの、絶対に晒されたくないものを決定できるようにする方法を改善するため注力していく予定だという。しかしこれはとても微妙な領域である。プラットフォームは一般的に、言論の自由に配慮してユーザー同士の会話に干渉しないことを望んできたため、それが原因で有害性が暴走したとも言えるのだが、プラットフォームの善意が検閲していると見なされ非難される可能性もあるため、この議論は現在も未解決である。

「ポリシーの実施と、ユーザーが望んで受け入れられるかどうかという問題の間には、緊張関係が存在します」とデイビス氏は説明する。プラットフォームの仕事は「最悪の事態を回避しつつ、消費者が見たいものを選択できるようなコントロールを提供することである」と同社は考えている。

また同社は企業向けサービスへの進出も計画している。

企業向けサービスとは興味深い。企業内の人々が互いに会話する方法（Spectrum Labsがすでに提供している消費者向けサービスと同様の形態をとるのだろう）だけでなく、営業、カスタマーサービス、マーケティングなどのエリアで企業が外部の世界とどのように接しているかを見ることができ、そしてSpectrum Labsが収集した情報を分析に活用して、これらの分野でのその後の運営方法を検討することができるのである。

ただし、これは何も新しいサービスではない。例えばSpectrumの競合他社には会話モニタリング分野のスタートアップであるAware（アウェア）がいる。同社は企業向けに特化したサービスである（L1ghtは消費者分野での競合だ）。

まだ他にもある。前回、Spectrum Labsについて書いた際、創業者と創業チームがSalesforce（セールスフォース）に買収されたマーケティングテクノロジー企業Krux（クラックス）の出身であることを指摘した（Spectrum Labsを設立する前に働いていた）。SalesforceはCRMに限らず、企業がより効率的にビジネスを行うための幅広いツールセットを構築しており、また、かつて別のソーシャルネットワークを設立し、FacebookのCTOを務めたこともあるBret Taylor（ブレット・テイラー）氏が現在トップに立っていることもあり、今後Salesforceがこの分野にもっと関心を持って取り組んでもまったく不思議ではない。コミュニケーションフォーラムがどのように利用され、悪用されるかについて詳しい情報を得ることができるのである。

消費者と企業の両方の課題に対処するために、今回のラウンドではIntelが戦略的投資家として参加することになったとデイビス氏は話している。Spectrum Labの技術をIntelのチップ設計とより密接に連携させることで動作速度をさらに向上させる計画で、またIntelにとって、これは信頼性と安全性の問題を重視する同社のハードウェア顧客に対するユニークなセールスポイントにもなる。

「Spectrum Labsの自然言語理解技術は、信頼性の課題に取り組む世界中の企業を強化する、コアプラットフォームとなる可能性を秘めていると確信しています」とIntel Capitalの副社長兼シニアMDであるMark Rostick（マーク・ロスティック）氏は声明の中で伝えている。「デジタルトラストと道徳的な運用が、組織の差別化を図るための重要な要素として考えられている今、トラスト＆セーフティー技術を企業運営に構築するということに、大きなチャンスがあると考えています」。

画像クレジット：David Woodfall / Getty Images

【原文】

Two years into the pandemic, online conversations are for many of us still the primary interactions that we are having every day, and we are collectively having billions of them. But as many of us have discovered, not all of those are squeaky clean, positive experiences. Today, a startup called Spectrum Labs — which provides artificial intelligence technology to platform providers to detect and shut down toxic exchanges in real time (specifically, 20 milliseconds or less) — is announcing $32 million in funding. It plans to use the money to continue investing in its technology to double down on its growing consumer business and to forge ahead in a new area, providing services to enterprises for their internal and customer-facing conversations, providing not just a way to help detect when toxicity is creeping into exchanges, but to provide an audit trail for the activity for wider trust and safety tracking and initiatives.

“We aspire to be the leaders in language where civility matters,” CEO Justin Davis said in an interview.

The round is being led by Intel Capital, with Munich Re Ventures, Gaingels, OurCrowd, Harris Barton, and previous backers Wing Venture Capital, Greycroft, Ridge Ventures, Super{set} and Global Founders Capital also participating. Greycroft led Spectrum’s previous round of $10 million in September 2020, and the company has now raised $46 million in total.

Davis, who co-founded the company with Josh Newman (the CTO), said Spectrum Labs is not disclosing valuation, but the company’s business size today speaks to how it’s been doing.

Spectrum Labs today works with just over 20 big platforms — they include social networking companies Pinterest and The Meet Group, dating site Grindr, Jimmy Wales’ entertainment wiki Fandom, Riot Games and e-learning platform Udemy — which in turn have millions of customers sending billions of messages to each other, either in open chat rooms or in more direct, private conversations.

Its technology is based around natural language and works in real time both on text-based interactions and audio interactions.

Davis notes that its audio work is “read” as audio, not transcribed to text first, which gives Spectrum’s customers a significant jump on responding to the activity, and counteracting what Davis referred to as “The Wild West nature of voice,” due to how slow responses typically are for those not using Spectrum’s technology: a platform has to wait for users to flag iffy content, then the platform has to find that audio in the transcriptions, and then it can take action — a process that could take days.

This is all the more important since voice-based services — with the rise not just of podcasting but services like Clubhouse and Spaces on Twitter — are growing in popularity.

Whether text or audio, Spectrum scans these exchanges for toxic content covering more than 40 behavior profiles that it built initially in consultation with researchers and academics around the world and continues to hone as it ingests more data from across the web. The profiles cover parameters like harassment, hate speech, violent extremism, scams, grooming, illegal solicitation and doxxing. It currently supports scanning in nearly 40 languages, Davis tells me, adding that it could work with any language, although Davis tells me that there is no language limit.

“We can technically cover any language in a matter of weeks,” he said.

The most visible examples of online toxicity have been in the consumer sphere — where they have played out in open-forum and more private online bullying and hate speech and other illegal activity, an area where Spectrum Labs will continue to do work and invest in technology to detect ever more complicated and sophisticated approaches from bad actors. One focus for Spectrum Labs will be in working on ways to improve how customers themselves can also play a role in deciding what they do and definitely do not want to see, alongside controls and tools for a platform’s trust and safety team. This is a tricky area, and arguably one reason why toxicity has gotten out of hand is because traditionally platforms have wanted to take a hands-off, free speech approach and not meddle in content, since the other side of the coin is that they can also be accused of censoring, a debate that is still very much playing out today.

“There is a natural tension between what the policy implements and what users want and are willing to accept,” Davis said. His company’s view is that the job of a platform “is keeping the worst of the worst off, but also to provide consumer controls to make selection over what they want to see over time.”

Alongside that, Spectrum plans to move more into enterprise services.

The opportunity in enterprise is an interesting one, as it includes not just how people within a company converse with each other (which largely might take a similar form to the consumer-facing services that Spectrum Labs already provides), but also how a company interfaces with the outside world in areas like sales, customer service and marketing, and then leveraging the information that Spectrum Labs gathers in its analytics to potentially alter how each of those areas subsequently operates.

To be sure, this is not a market segment that has been ignored. Spectrum’s competitors here will include another startup in the conversation monitoring space, Aware, which focuses on enterprise exclusively. (L1ght, meanwhile, is another competitor in the consumer sphere.)

And there will certainly be others. We noted when we last wrote about Spectrum Labs that the founders and founding team came from Krux, a marketing technology company that was acquired by Salesforce (where they worked before leaving to found Spectrum Labs). I wouldn’t be surprised to see Salesforce taking a more interested role in this area in the future, not least because it is building out a very wide toolset to help companies run their businesses more efficiently, not just limited to CRM; but also because Bret Taylor, who once founded another social network and used to be the CTO of Facebook, is now helping to run the show, and may well have an especially informed grip on how communications forums can be used and abused.

For now, to address both the consumer and enterprise issues, Intel is coming in as a strategic investor in this round, Davis tells me. The plan will be to integrate Spectrum Labs’ technology to work more closely with Intel’s chip designs, which will increase the speed that it works even more, and Intel will be able to use as a unique selling point with Intel’s would-be hardware customers as they give a higher priority to trust and safety issues themselves.

“We believe Spectrum Labs’ Natural Language Understanding technology has the potential to become the core platform that powers the trust initiatives of thousands of companies around the world,” said Mark Rostick, VP and senior MD at Intel Capital, in a statement. “As digital trust and ethical operations emerge as a key factor to help organizations differentiate themselves, we see a huge opportunity to build a Trust & Safety tech layer into enterprise operations.”

（文：Ingrid Lunden、翻訳：Dragonfly）