「ChatGPT」が書いた文章を見分けることは可能か–5つの検出ツールをテスト

今回は「「ChatGPT」が書いた文章を見分けることは可能か–5つの検出ツールをテスト」についてご紹介します。

関連ワード （「ChatGPT」利用のヒント、特集・解説等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　AI生成の盗用に対抗することは可能なのか、どこまで対抗できるのか、という問題を筆者が初めて取り上げたのは、2023年1月のことだった。生成AIの認知度が世界で爆発的に高まってからわずか数カ月が過ぎた頃だ。それから半年がたち、もう何年も生成AIを探究しているように感じられるが、実際には6カ月しか検討していない。

　ともかく、これは1月の記事の更新版だ。最初にGPT検出ツールをテストしたときに使ったのは、「GPT-2 Output Detector」、Writer.comの「AI Content Detector」、Content at Scaleの「AI Content Detection」の3つだった。最も優れていたのは、正解率66％のGPT-2 Output Detectorだ。今回はこれらに加えて、「GPTZero」と「ZeroGPT」（そう、これらは別のツールだ）、Writefullの「GPT Detector」の3つを使用する。

　残念ながら、Writer.comのAI Content Detectorは1月の検証時に正常に機能せず、今回も機能しなかったので、テスト対象から除外した。最初の記事が1月に公開された後にWriter.comのチームから届いたコメントを後ほど紹介する。

　だが、話を進める前に、盗用の概念と、この問題との関連について説明しておく必要がある。Websterは「plagiarize」（盗用）を次のように定義している。「（他者のアイデアや言葉を）盗んで、自分のものであるかのように見せかけること。出典を明示せずに（他者の作品を）使用すること」

　この定義はAIが作成したコンテンツに当てはまる。「Notion AI」や「ChatGPT」などのAIツールを使用している人がコンテンツを盗んでいるわけではないが、AIによって作成された文章であることを明記せずに自分の作品だと主張した場合は、やはりWebsterの盗用の定義に該当する。

　今回の実験的な記事では、ChatGPTの力を借りた。筆者が書いた文は通常の書体と太字にして、ChatGPTの文は斜体で表記している。ChatGPTが生成した各セクションの後に、検出ツールの結果を記載した。記事の最後で、検出ツールの全体的なパフォーマンスを評価する。

　筆者が自分で書いた上記の文章を検出ツールでチェックしたところ、以下の結果となった。

　人間が書いたコンテンツ：5つのツールのうち4つが正解

　それでは、もっと掘り下げてみよう（編集部注：以下のプロンプトとChatGPTの回答は、原文にある英語のプロンプトと回答を和訳して記載しています。原文については記事末尾のリンクを参照してください）。

　ChatGPTが盗用という点で教師や編集者にとって真の問題になり得る理由を説明してほしい。

　AIが書いたコンテンツ：5つのツールのうち1つが（かろうじて）正解。

　繰り返すが、斜体にしたテキストはAIによって生成されたものだ。