Anthropic、悪用リスク増大を受けAIモデルの安全管理ポリシーを改定

今回は「Anthropic、悪用リスク増大を受けAIモデルの安全管理ポリシーを改定」についてご紹介します。

関連ワード (セキュリティ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 大規模言語モデル(LLM)「Claude」ファミリーの開発元であるAnthropicが、米国時間10月15日付で、自社ソフトウェアの安全管理ポリシーを改定した。同社はこれについて、悪意ある主体が人工知能(AI)モデルを悪用してサイバー攻撃を自動化する可能性があることを反映したものだとしている。

 公開されたPDF形式の文書は、Anthropicの「責任あるスケーリングポリシー」を詳述したもので、同社がAIモデルが悪用される継続的リスクのモニタリングに必要だとする、複数の手続き上の変更が概説されている。その中では、リスクの上昇に呼応した複数のレベルが設定されている。これは「AI安全レベル基準」(ASL:AI Safety Level Standards)と呼ばれるもので、ポリシー内では「技術および運用上の防護策」と定義されている。

 AIモデルの安全性に関するAnthropicの「定期検査」(「能力評価」と呼ばれる)の一環として、同社は「大々的な調査を要し、さらに強力な防護策が必要な可能性もある」能力を発見していくとしている。

 この能力は、サイバー運用における脅威だと説明されている。これは「高度な破壊的サイバー攻撃を大幅に強化または自動化する能力」であり、「ゼロデイ攻撃を実行可能な新しいエクスプロイトチェーンの発見や、複雑なマルウェアの開発、検知が困難な広範なネットワーク侵入の画策を含むが、これらに限定されるものではない」という。

 今回公開された文書には、この件を継続的に調べるために今後とられる措置が以下のように説明されている。

 現時点で、AnthropicのAIモデルはすべて、ASLの「レベル2」の要件を満たさなければならないと、同社は述べている。レベル2とは「日和見的な攻撃者の大半を阻止するとみられるセキュリティシステムが必要となる」段階で、具体的には「ベンダーとサプライヤーによるセキュリティ評価や、物理的なセキュリティ対策、セキュアバイデザインの原則の採用が含まれる」と今回公開された文書には書かれている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
見る側の知見が試される、「切り抜き動画」の未来 実際に切り抜いて改変してみた :小寺信良のIT大作戦(1/2 ページ)
イラスト・デザイン
2021-04-28 01:53
AIが新商品の配合提案–サッポロビールと日本IBMに聞く、開発の舞台裏
IT関連
2023-02-02 01:00
NTT Com、ビジネスを共創する「OPEN HUB Park」開設–事業創出の触媒や触発に
IT関連
2022-02-23 19:06
NTT、モバイル6Gの実証に向けた連携体制を構築
IT関連
2022-06-08 11:54
アドバンスト・メディア、建設現場の議事録作成をAIと人のコラボで効率化
IT関連
2023-10-15 07:22
「リフト&シフト」、次の課題は運用の一貫性確保
IT関連
2023-08-09 09:47
綱引きの“八百長装置” 外部から引力をこっそり制御、接戦を演出 東大など「The Tight Game」開発 :Innovative Tech
トップニュース
2021-03-23 00:54
Linuxスマートフォン「PinePhone Pro」の「Explorer Edition」登場
IT関連
2022-01-20 03:14
5Gスマホへの買い換え時期を探る–重要なのは今後を見据えたアップグレード
IT関連
2022-03-12 23:25
AbemaTVが中継した格闘技イベント、CDNで4.5Tbpsを記録
IT関連
2022-07-02 08:25
IT業界の「ご意見番」IIJ鈴木会長は「生成AI」についてどう見ているのか
IT関連
2024-08-24 18:28
林立する中国産OS、成功のカギはどこにある?
IT関連
2024-08-28 02:52
インテル、台湾MediaTekのチップを受託製造へ
IT関連
2022-07-27 13:02
諜報機関のAI利用、その有効性と倫理の議論–英GCHQの取り組みにみる
IT関連
2021-03-10 10:37