ラック、生成AIシステムに対するセキュリティ診断サービスを提供

今回は「ラック、生成AIシステムに対するセキュリティ診断サービスを提供」についてご紹介します。

関連ワード (セキュリティ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


  ラックは2月20日、生成AIシステムのセキュリティを強化するための新サービス「生成AI活用システム リスク診断」を提供を開始した。同社によれば、生成AIを組み込んだシステムは従来型のシステムと異なり、AIを欺くために設計された敵対的な攻撃(プロンプトインジェクション)に対して脆弱であることが明らかになってきているという。

 同サービスは、「プロンプトの悪用による機密情報の搾取」「不適切なコンテンツの表示」「内部的に設定されたプロンプトなど知的財産の搾取」「プロンプトの大量入力によるサービス拒否やトークンの過剰消費」などの脆弱性の有無を評価する。その上で生成AIを使ったシステムを対象に、特有の脆弱性が含まれていないかを評価して改善点をレポートする。

 さらにウェブアプリケーションの安全性を攻撃者の視点から調査する「Webアプリケーション診断」や、クラウド環境の潜在的な設定ミスや脆弱性の見落としを発見・修正する「クラウドセキュリティ設定診断」などと組み合わせてシステム全体の脆弱性を点検することも可能だ。なお診断の項目は、今後も随時追加していく予定だという。

 同サービスに含まれる評価項目には、(1)プロンプトインジェクション、(2)ジェイルブレイク、(3)プロンプトリーク、(4)大規模言語モデル出力の改ざん、(5)プロンプトの大量入力によるサービス拒否――がある。

 (1)はシステムの設定を回避して、モデルに学習されている機密情報やシステム情報を搾取できてしまう脆弱性を指す。(2)はシステムに設定されたポリシーを回避して、不適切なコンテンツ(攻撃的、または有害なコンテンツ)を解凍できてしまう脆弱性を言う。

 (3)はシステムの内部で設定されているプロンプトを搾取できてしまう脆弱性のこと。(4)は大規模言語モデル(LLM)の出力を改ざんすることで、SQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する脆弱性を言う。

 (5)は繰り返し大量のプロンプトを機械的に入力することで、システムが不安定になったり、大量のトークンを消費させ過剰な料金請求が発生してしまったりする脆弱性のことを指す。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
テレワークスペース・シェアの「テレスペ」が「ワイン飲み放題付きテレワーク」プランを提供開始
シェアリングエコノミー
2021-01-13 20:58
Docker DesktopがWebAssemblyランタイムを統合。コンテナと同様にWebAssemblyイメージを実行可能に
Docker
2022-10-26 08:16
ユーザーの声でAIがリアルに歌う–中国で進化するカラオケアプリ
IT関連
2023-12-29 01:26
マイクロソフト、オープンソースの分散アプリケーションランタイム「Dapr 1.0」リリース。Kubernetes対応、サービス間メッセージング、ステート管理など提供
Dapr
2021-02-22 17:29
モバイル版「Slack」で通知スケジュールを設定するには
IT関連
2022-06-05 01:51
テレワーク正式導入のスクエニ、ゲーム開発への影響は? 「ドラクエX」責任者に聞く (1/2 ページ)
キャリア・しごと
2021-01-27 22:39
Parler停止のAWSとトランプ氏アカウント凍結のFacebook、報復に警戒するよう従業員に通達
企業・業界動向
2021-01-14 01:48
Fastly、JavaScriptをWebAssemblyへコンパイルし、CDNエッジで瞬時に起動。サーバレス環境「Compute@Edge」の新機能を発表
Fastly
2021-07-27 12:54
朝日生命、コールセンターに「bellFace」を試験導入–社内の要望受け
IT関連
2022-06-04 00:58
仮想通貨取引所Bitfinexがオンラインショップ向け仮想通貨決済ゲートウェイをローンチ
フィンテック
2021-03-06 06:12
英政府がマッチングアプリと連携 「ワクチン接種済」示す機能
IT関連
2021-06-10 00:11
NECが創り出した新規事業–代表取締役CFOの藤川氏に成果を聞く
IT関連
2022-09-09 00:07
砂漠への植樹は気候変動対策になっているのだろうか?
IT関連
2022-02-27 16:36
Uberが中南米の食料品配達スタートアップCornershopを完全子会社化
シェアリングエコノミー
2021-06-23 10:04