生成AIが自律的にテストを生成、実行しバグや脆弱性を発見してくれる「Spark」、Code Intelligenceが正式リリース

今回は「生成AIが自律的にテストを生成、実行しバグや脆弱性を発見してくれる「Spark」、Code Intelligenceが正式リリース」についてご紹介します。

関連ワード (把握、説明、選択等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


ドイツのCode Intelligence社は、生成AIが人間の介在なしに自律的にソフトウェアテストを生成し実行することで、対象となるソフトウェアのバグや脆弱性などを発見してくれるAIテストエージェント「Spark」の正式リリースを発表しました。

Meet Spark, an AI Test Agent That Autonomously Uncovers Vulnerabilities!!#AI #AITESTAGENT #CIFUZZ #SPARK #TESTING #SECURITY #SOFTWAREhttps://t.co/wr6CBydIA6 pic.twitter.com/RApYEHsXAH

— Code Intelligence (@CI_Fuzz) January 30, 2025

Sparkが自律的に生成し実行するのは「ホワイトボックスファズテスト」(White box Fuzz Test)と呼ばれるテストです。

ファズテストもしくはファジングとは、検査対象のソフトウェアに「Fuzz」と呼ばれる問題を引き起こしそうなデータを大量に送り込み、その応答や挙動を監視することで脆弱性を検出する検査手法です。

参考:Google、脆弱性検出のためのファジング(Fuzzing)を機械的に実行する「OSS-Fuzz」、ベータ公開

このファズテストを対象となるソフトウェアのコードなどの内容を把握した上で行うことを「ホワイトボックスファズテスト」、ソフトウェアの内容が分からないままFuzzを送り込んでテストすることを「ブラックボックスファズテスト」と呼びます。

ホワイトボックスファズテストはバグや脆弱性を発見する手法として有効であることが知られていますが、ソースコードなどを把握した上で多数のテストケースやFuzzデータの作成を行う手間が大きいことが課題です。

今回正式リリースされたSparkは、生成AIがソースコードを解析して攻撃対象となるAPIや関数などの境界面の選択とFuzzの生成を行い、それを送り込むためのテストコードを生成、実行し、結果をまとめてバグや脆弱性を報告してくれる、というものになります。

Sparkが自律的に行うテストの内容

Sparkは起動すると次のようなステップで自律的にソフトウェアテストを行うと説明されています。

1:テスト対象の特定
コードを解析し、ファジング対象となる関数やAPIを次の4つのメトリクス「関数が到達できる行数の多さなどのカバレッジ範囲」「ポインタのデリファレンス(dereference)や生のポインタ操作などメモリ破壊につながるようなリスクの高い動作」「memcpy、strcpy、memset のような潜在的に安全でない関数の呼び出し」「コードの複雑度」をスコアリングすることで特定します。

2:ファズテストの作成
ターゲットとなる関数やAPIのテストに必要な正しいコンテキストを抽出するための静的コード解析および大規模言語モデル(LLM)を活用したファズテストの作成と最適化。

3: 生成されたテストの実行と検証
テストを実行し、正しくビルドされたかどうか、高いコードカバレッジが達成されたかどうかを確認します。

4:発見されたバグを報告
発見されたバグや脆弱性にフラグを立て、問題が発生したコードの正確な行、スタックトレース、根本原因の分析を支援するためにバグの引き金となった入力値などの詳細情報を報告します。

下記は同社が公開したSparkのデモ動画から、実行後の画面キャプチャです。1行目でカバレッジ75%と引数を設定してSparkを実行すると、Sparkはそれに従ってテストを作成し、実行結果として深刻度(SEVERITY)9.0と4.0の2つのバグを報告しています。

fig

COMMENTS


Recommended

TITLE
CATEGORY
DATE
企業の75%が「ChatGPT」利用を禁止する方向–BlackBerry調査
IT関連
2023-08-17 18:44
「ヤフトピ」見出し、最大13.5→14.5文字に 20年ぶりに変更
企業・業界動向
2021-04-15 18:42
マルウェア研究30年–エフセキュアの最高リサーチ責任者が語ったセキュリティ脅威
IT関連
2021-06-30 16:58
「IBM Quantum」で強化されたプログラミングツール
IT関連
2021-03-18 09:39
トランスパイラ「Babel」の開発チーム、資金難で寄付を募集 (1/2 ページ)
クラウドユーザー
2021-05-13 09:42
「死後にデジタルで再現していい?」約6割が反対 理由は「意思確認できない」「死後も働きたくない」
企業・業界動向
2021-07-06 09:29
HPE、「GreenLake」新サービス群と事業方針を発表
IT関連
2022-04-23 15:03
引っ越しを簡単にして「大量辞職時代の従業員」にアピールするPerchPeekが12.6億円調達
IT関連
2022-02-24 00:35
通信各社、通話を一部制限 コロナワクチン予約の混雑対策で
社会とIT
2021-05-11 15:37
タクシーの車窓を“広告枠”に 空車の走行時間を活用、S.RIDEが新サービス
企業・業界動向
2021-03-18 03:09
Epic Games、「フォートナイト」有料コンテンツの収益をウクライナ人道支援に寄付へ
IT関連
2022-03-23 22:13
ヤフー、「ワクチンパスポート」の特設ページ開設 「Yahoo!検索」からの誘導も
ネットトピック
2021-07-14 12:22
困難伴うITプロジェクト、失敗を避けるための4つのアプローチ
IT関連
2022-02-09 15:15
シェアードモビリティのGoTo Globalがシェルカンパニーとの合併により株式公開へ
IT関連
2022-02-10 17:48