Google、AIでファイルの種類を高速正確に判別できる「Magika」をオープンソースで公開

今回は「Google、AIでファイルの種類を高速正確に判別できる「Magika」をオープンソースで公開」についてご紹介します。

関連ワード (一般、安全性評価、実現等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Googleは、AIを用いることでファイルの種類を高速かつ正確に判別できるツール「Magika」をオープンソースで公開したと発表しました。

fig

Magikaは、あるファイルの中味が何なのか、記述されたプログラミング言語の種類、動画や画像、音声などのフォーマットの種類、ExcelやWord、PDFなどのオフィス系ソフトウェアの種類、OSの実行形式バイナリなどの種類を瞬時に判別してくれます。

下記はコマンドラインとしてMagikaを実行した例で、フォルダ内のファイルの種類を出力しています。

fig

特別に最適化された1MBのモデルでを用いて推論を実行

Magikaはファイルの判別に、Kerasを用いて特別に最適化されたディープラーニングによる、わずか1MBのモデルを用いていると説明されています。

このモデルは推論エンジンのOnnx上で実行されています。実行速度はGPUを用いずCPU上で処理されたとしても数ミリ秒程度とのこと。

GoogleはこのMagikaを100以上のファイルタイプを網羅する1Mファイルベンチマークで評価し、他の既存ツールより高い精度で判別を実行し、なおかつ他を約20%上回る高速度を実現したことも発表しています。

なぜファイルの中味を見て判別する必要があるのか?

一般にファイルの種類は拡張子によって示されますが、現実にはファイルの拡張子がつねに正しいとは限らないため、ファイルの内容を見て種類を判別する処理はさまざまなソフトウェアの内部で行われています。

例えば、コードエディタにおいてシンタックスハイライトの設定を行うためにプログラミング言語の種類を判別することや、業務アプリケーションが特定の種類のファイル以外は読み込まないような判別をすることなどが挙げられます。

特に重要とされているのはセキュリティの分野です。拡張子を偽ってユーザーにファイルを開かせようとするマルウェアに対処するために、拡張子ではなくファイルの内容から種類を適切に判断し、ファイルの種類に合わせて用意されたスキャナーによる安全性評価は欠かせません。

GoogleはMagikaをGmailやGoogle Driveなどの何百万ものファイル処理にすでに活用しており、これまで同社が利用していたルールによるファイル判別と比べて50%の精度向上を実現でき、より精度の高いスキャンが可能になったと説明されています。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
セールスフォースとAWSが提携を拡大–両社サービスをよりシームレスに
IT関連
2021-06-25 23:52
PC需要の落ち込み–「Chrome OS」という選択肢を再考する
IT関連
2022-11-18 20:50
楽天生命、リスクシミュレーションで保険の引受査定を自動化
IT関連
2022-02-03 00:00
マイクロソフト、「Windows」の隠し機能にアクセスできる社内ツールを誤って公開
IT関連
2023-08-05 11:01
事業にインパクトあるデータ活用を提案–フライウィール横山CEOの意気込み
IT関連
2023-04-05 02:19
世界中の視聴者にエンタメの門戸を広げるローカリゼーションサービス市場をリードするIyuno Media Group
ソフトウェア
2021-05-12 05:10
NECとシスコ、5Gソリューションのグローバル展開で連携
IT関連
2021-04-09 09:52
約8割が社内システムの定着化の実施、状況を把握していない–TMJ調査
IT関連
2023-05-03 22:22
「生成AIが持つ事業へのインパクトの大きさを直感」–明治安田、先端技術を全社横断的に活用
IT関連
2025-01-19 00:47
「シン・エヴァ」Prime Video独占配信 「日本以外」の世界中で
くらテク
2021-07-03 22:25
日立製作所、製品セキュリティで生成AIを活用した「脆弱性分析サービス」を提供
IT関連
2025-03-07 18:22
インド国税庁がユニコーン企業「Infra.Market」を捜査、偽装購入や使途不明金などを摘発
IT関連
2022-03-22 07:49
買い手が好む営業スタイル、「訪問・リモートどちらでも」が増加–購買時には「信頼」重視
IT関連
2022-02-19 03:14
1回の接種で済むジョンソン・エンド・ジョンソンの新型コロナワクチンは米国で3月に配布開始の見込み
バイオテック
2021-01-31 07:56