Anthropic、悪用リスク増大を受けAIモデルの安全管理ポリシーを改定

今回は「Anthropic、悪用リスク増大を受けAIモデルの安全管理ポリシーを改定」についてご紹介します。

関連ワード (セキュリティ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 大規模言語モデル(LLM)「Claude」ファミリーの開発元であるAnthropicが、米国時間10月15日付で、自社ソフトウェアの安全管理ポリシーを改定した。同社はこれについて、悪意ある主体が人工知能(AI)モデルを悪用してサイバー攻撃を自動化する可能性があることを反映したものだとしている。

 公開されたPDF形式の文書は、Anthropicの「責任あるスケーリングポリシー」を詳述したもので、同社がAIモデルが悪用される継続的リスクのモニタリングに必要だとする、複数の手続き上の変更が概説されている。その中では、リスクの上昇に呼応した複数のレベルが設定されている。これは「AI安全レベル基準」(ASL:AI Safety Level Standards)と呼ばれるもので、ポリシー内では「技術および運用上の防護策」と定義されている。

 AIモデルの安全性に関するAnthropicの「定期検査」(「能力評価」と呼ばれる)の一環として、同社は「大々的な調査を要し、さらに強力な防護策が必要な可能性もある」能力を発見していくとしている。

 この能力は、サイバー運用における脅威だと説明されている。これは「高度な破壊的サイバー攻撃を大幅に強化または自動化する能力」であり、「ゼロデイ攻撃を実行可能な新しいエクスプロイトチェーンの発見や、複雑なマルウェアの開発、検知が困難な広範なネットワーク侵入の画策を含むが、これらに限定されるものではない」という。

 今回公開された文書には、この件を継続的に調べるために今後とられる措置が以下のように説明されている。

 現時点で、AnthropicのAIモデルはすべて、ASLの「レベル2」の要件を満たさなければならないと、同社は述べている。レベル2とは「日和見的な攻撃者の大半を阻止するとみられるセキュリティシステムが必要となる」段階で、具体的には「ベンダーとサプライヤーによるセキュリティ評価や、物理的なセキュリティ対策、セキュアバイデザインの原則の採用が含まれる」と今回公開された文書には書かれている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
静岡に“珍自販機スポット”現る 冷凍ラーメンから昆虫食、ふるさと納税まで
くらテク
2021-07-09 11:22
NECとTOPPANデジタル、茅野市で地域通貨を顔認証で決済する実証
IT関連
2024-04-02 10:49
AIベンチマーク「MLPerf」の最新結果–NVIDIA、デル、クアルコムなど好成績
IT関連
2023-04-12 04:07
ノーコードでAirtableを利用したウェブサイト・アプリの作成を簡単にするSoftrが2.3億円調達
ソフトウェア
2021-01-25 21:47
ゼロコピーで瞬時にプロセス間の大規模データ通信を可能にする「Eclipse iceoryx」ミドルウェア、Eclipse Foundationが公開
API
2021-07-14 23:46
業界向けデータクラウドを拡大–Snowflakeが国内の事業戦略
IT関連
2022-04-28 00:08
ビジネスリーダーは開発者の成果をいかに評価しているのか
IT関連
2021-08-20 15:19
都議会議員選挙で空き情報配信サービス「VACAN」を練馬区が導入、期日前投票所の混雑情報をリアルタイムに可視化
IoT
2021-06-16 21:02
マイクロソフトが提唱する次世代エンドポイントの使い所
IT関連
2022-09-15 16:53
AlmaLinux、今後はRed Hat Enterprise LinuxのABI互換を目指すと発表。これまでの「バグまでRHEL互換」の路線を変更
Linux
2023-07-18 03:16
GitHubによるDockerコンテナレジストリ「GitHub Packages Container registry」が正式サービスに
Docker
2021-06-23 09:23
GMが商用EV向けのフリート充電サービスを開始、自宅での充電も支援
モビリティ
2021-07-17 03:50
パナソニック インダストリー、AI搭載サーボシステム提供へ–人の作業時間を9割削減
IT関連
2023-09-16 19:15
ノッチ縮小が期待のiPhone 13、製造台数は最大2割増し? ワクチン接種開始で需要増見込む
IT関連
2021-07-16 13:43