ラック、生成AIシステムに対するセキュリティ診断サービスを提供

今回は「ラック、生成AIシステムに対するセキュリティ診断サービスを提供」についてご紹介します。

関連ワード (セキュリティ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


  ラックは2月20日、生成AIシステムのセキュリティを強化するための新サービス「生成AI活用システム リスク診断」を提供を開始した。同社によれば、生成AIを組み込んだシステムは従来型のシステムと異なり、AIを欺くために設計された敵対的な攻撃(プロンプトインジェクション)に対して脆弱であることが明らかになってきているという。

 同サービスは、「プロンプトの悪用による機密情報の搾取」「不適切なコンテンツの表示」「内部的に設定されたプロンプトなど知的財産の搾取」「プロンプトの大量入力によるサービス拒否やトークンの過剰消費」などの脆弱性の有無を評価する。その上で生成AIを使ったシステムを対象に、特有の脆弱性が含まれていないかを評価して改善点をレポートする。

 さらにウェブアプリケーションの安全性を攻撃者の視点から調査する「Webアプリケーション診断」や、クラウド環境の潜在的な設定ミスや脆弱性の見落としを発見・修正する「クラウドセキュリティ設定診断」などと組み合わせてシステム全体の脆弱性を点検することも可能だ。なお診断の項目は、今後も随時追加していく予定だという。

 同サービスに含まれる評価項目には、(1)プロンプトインジェクション、(2)ジェイルブレイク、(3)プロンプトリーク、(4)大規模言語モデル出力の改ざん、(5)プロンプトの大量入力によるサービス拒否――がある。

 (1)はシステムの設定を回避して、モデルに学習されている機密情報やシステム情報を搾取できてしまう脆弱性を指す。(2)はシステムに設定されたポリシーを回避して、不適切なコンテンツ(攻撃的、または有害なコンテンツ)を解凍できてしまう脆弱性を言う。

 (3)はシステムの内部で設定されているプロンプトを搾取できてしまう脆弱性のこと。(4)は大規模言語モデル(LLM)の出力を改ざんすることで、SQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する脆弱性を言う。

 (5)は繰り返し大量のプロンプトを機械的に入力することで、システムが不安定になったり、大量のトークンを消費させ過剰な料金請求が発生してしまったりする脆弱性のことを指す。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
兵庫県神戸市、システム内製でコロナ電話対応を10分の1に 全国的なDXには仕様統一が重要
IT関連
2021-03-05 23:34
ドラクエ35周年記念特番、27日に配信 堀井雄二さん出演で新作への期待高まる
くらテク
2021-05-14 01:43
セールスフォースと大阪府、福祉分野のスマート化で連携–DX人材の育成など図る
IT関連
2022-09-11 05:04
米国がシャオミの中国共産党軍事企業指定を解除
パブリック / ダイバーシティ
2021-05-27 07:37
生成AIへの期待、ビジネス/テクノロジーリーダーで温度差–レノボ調査
IT関連
2024-03-02 10:34
グーグルの「Project Zero」、2021年に過去最多のゼロデイ脆弱性を検知
IT関連
2022-04-21 22:21
人事労務ソフト「SmartHR」、「従業員サーベイ」機能に自由記述回答要約機能を追加
IT関連
2023-07-11 08:19
ウクライナ軍に入隊したアジャイルコーチがメソッドを駆使/Web版VSCodeがDockerコンテナをWASM環境で起動/無料のLinuxサーバー構築標準教科書ほか、2024年2月の人気記事
編集後記
2024-03-08 02:30
Craft Aerospaceの新型旅客輸送用VTOL航空機が持つ可能性
モビリティ
2021-08-11 03:11
AWSのミニデータセンターLocal Zonesが32増えて計48に
IT関連
2022-02-18 00:48
短い動画で数学や科学を学ぶインドのエドテックスタートアップDoubtnutが約33億円調達
EdTech
2021-03-02 19:19
セブン銀行、クラウドサービスの安全性確保でセキュリティ評価プラットフォームを導入
IT関連
2024-08-22 16:13
セールスフォースによるSlack買収完了にIBMトップがメッセージを送った意味とは
IT関連
2021-07-29 21:46
CISA長官にジェン・イースタリー氏–米上院が承認
IT関連
2021-07-15 00:33