Anthropic、悪用リスク増大を受けAIモデルの安全管理ポリシーを改定

今回は「Anthropic、悪用リスク増大を受けAIモデルの安全管理ポリシーを改定」についてご紹介します。

関連ワード (セキュリティ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 大規模言語モデル(LLM)「Claude」ファミリーの開発元であるAnthropicが、米国時間10月15日付で、自社ソフトウェアの安全管理ポリシーを改定した。同社はこれについて、悪意ある主体が人工知能(AI)モデルを悪用してサイバー攻撃を自動化する可能性があることを反映したものだとしている。

 公開されたPDF形式の文書は、Anthropicの「責任あるスケーリングポリシー」を詳述したもので、同社がAIモデルが悪用される継続的リスクのモニタリングに必要だとする、複数の手続き上の変更が概説されている。その中では、リスクの上昇に呼応した複数のレベルが設定されている。これは「AI安全レベル基準」(ASL:AI Safety Level Standards)と呼ばれるもので、ポリシー内では「技術および運用上の防護策」と定義されている。

 AIモデルの安全性に関するAnthropicの「定期検査」(「能力評価」と呼ばれる)の一環として、同社は「大々的な調査を要し、さらに強力な防護策が必要な可能性もある」能力を発見していくとしている。

 この能力は、サイバー運用における脅威だと説明されている。これは「高度な破壊的サイバー攻撃を大幅に強化または自動化する能力」であり、「ゼロデイ攻撃を実行可能な新しいエクスプロイトチェーンの発見や、複雑なマルウェアの開発、検知が困難な広範なネットワーク侵入の画策を含むが、これらに限定されるものではない」という。

 今回公開された文書には、この件を継続的に調べるために今後とられる措置が以下のように説明されている。

 現時点で、AnthropicのAIモデルはすべて、ASLの「レベル2」の要件を満たさなければならないと、同社は述べている。レベル2とは「日和見的な攻撃者の大半を阻止するとみられるセキュリティシステムが必要となる」段階で、具体的には「ベンダーとサプライヤーによるセキュリティ評価や、物理的なセキュリティ対策、セキュアバイデザインの原則の採用が含まれる」と今回公開された文書には書かれている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
データをファンエンゲージとチーム強化に活用–ブンデスリーガがAWSを選んだ理由
IT関連
2021-08-17 20:20
島津製作所、「Domo」を活用して全社的なデータ活用を推進
IT関連
2024-10-11 00:22
アニメ「進撃の巨人」、ファイナルシーズン Part 2をNHK総合で今冬放送
くらテク
2021-03-30 09:53
オリックスとneoAI、生成AIを用いた共同研究–書類における取引情報の抽出精度を向上
IT関連
2023-12-07 00:35
オープンソーステクノロジーがもたらす価値はどれほどか–OpenForum Europe
IT関連
2021-02-18 01:54
マイクロソフト、フルマネージドな負荷テストサービス「Azure Load Testing」正式サービスとして提供開始
Microsoft Azure
2023-02-15 07:59
ServiceNowはエンタープライズソフトウェア市場で「先頭集団」に食い込めるか
IT関連
2023-10-13 12:03
ヤフーとLINEが経営統合 “新生”Zホールディングス誕生 AIに積極投資、2023年度に売上2兆円目指す
くわしく
2021-03-03 11:30
「Fujitsu Kozuchi」活用–トヨタL&F、フォークリフトの安全運転を評価する新サービス
IT関連
2024-07-25 09:48
コーンテックがAIカメラで養豚の体重・体格・肉質を計測する実証実験を開始
フードテック
2021-06-09 06:01
WHI、日本企業に適した人的資本マネジメント製品を販売開始
IT関連
2023-01-20 10:22
TwitterのCEOが約3億円でサービス初ツイートを売ったツイートNFTマーケットプレイス「Valuables」とは
ブロックチェーン
2021-03-24 15:03
「Linux」初心者にもパワーユーザーにも最適–使いやすさと美しさを兼ね備えた「BigLinux」
IT関連
2024-04-04 12:26
電子文書の利用を推進する諸制度の動きとテクノロジー–後編
IT関連
2021-01-25 14:11