WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場

今回は「WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場」についてご紹介します。

関連ワード (性能、機械学習、機械学習処理等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


マイクロソフトはWebブラウザ上で実行可能な推論エンジン「ONNX Runtime Web」の最新版となる「ONNX Runtime Web 1.17」でWebGPUに対応したことを発表しました。

ONNX Runtime Web 1.17でWebGPU対応を発表

ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします。

ONNX Runtime WebはこれをWebブラウザに対応させた実装です。これまでWebAssemblyやWebGLを用いていました。

参考:マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開

今回のONNX Runtime Web 1.17で対応したWebGPUは、Webブラウザ上でJavaScriptを用いた2次元や3次元の高速なグラフィックスの描画を行うWeb標準として広く使われてきた「WebGL」の後継となる、新しいWeb標準です。

WebGPUはオーバーヘッドが小さく低レイヤでの処理が行えることでGPUの能力をより高く引き出せるため、Webブラウザでの高速なグラフィクスレンダリングや機械学習処理などを可能にします。

WebGPU対応により、ONNX Runtime Webはこれまで以上にGPUを活用した高速な推論処理が可能となりました。

Webブラウザ上でStable Diffusion Turboを実行

マイクロソフトは今回の発表を行ったブログ「ONNX Runtime Web unleashes generative AI in the browser using WebGPU」で、Webブラウザ上でStable Diffusion TurboのようなAIモデルを実行できるようになると次のように説明しました。

This innovation unlocks new possibilities for executing state-of-the-art sophisticated models like Stable Diffusion Turbo directly in the browser. It is particularly advantageous in scenarios where CPU-based in-browser ML falls short of meeting performance standards. >

この技術革新により、Stable Diffusion Turboのような最先端の洗練されたモデルをブラウザで直接実行する新たな可能性が開かれた。特にCPUベースでのWebブラウザ内AI処理が性能に見合わない場合に有効となる。

これまでのWebGLと比較してWebGPUはより効率的な素理論が可能だと説明されています。

Compared to WebGL, WebGPU is capable of handling more complex machine learning workloads in a more efficient way with advanced features such as compute shader. Its support for half-precision (FP16) reduces GPU memory usage and bandwidth requirements while accelerating arithmetic. WebGPU promises inferencing more efficient and scalable machine learning applications directly within the web browser by harnessing GPU power for parallel computation tasks.

WebGLと比較して、WebGPUはコンピュートシェーダーなどの高度な機能により、より複雑な機械学習のワークロードをより効率的な方法で処理できます。半精度(FP16)をサポートすることでGPUのメモリ使用量と帯域幅の要件を削減すると同時に、演算を高速化します。WebGPUは並列計算タスクにGPUの能力を活用することで、スケーラブルな機械学習アプリケーションをWebブラウザ内で直接、より効率的に推論処理できるようになることを約束します。

そしてマイクロソフトはONNX Runtime Webを用いてWebブラウザ上でStable Diffusion Turboを実行可能なコードをGitHub上で公開しました。

マイクロソフトによると、GPUにRTX 4090を搭載したマシンのWebブラウザ上でStable Diffusion Turboを実際に実行した結果、1秒以内に結果が出力されたと説明しています。

参考:マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開

COMMENTS


Recommended

TITLE
CATEGORY
DATE
「Opera」ブラウザー、iOS版でもAIチャットボット「Aria」が利用可能に
IT関連
2023-08-18 19:42
「Slack」のハドルミーティングを使用するには–オフィスでの気楽なやりとりを再現
IT関連
2022-11-29 13:05
CrowdStrikeがHumioを約422.8億円で買収、ロギングのスタートアップが突如注目が集まる
セキュリティ
2021-02-20 08:23
NTTデータ、特定の業務領域に対応するBERTフレームワークを開発
IT関連
2021-03-17 14:12
Odys Aviation(旧Craft Aerospace)が「吹き出し翼」を採用するユニークなVTOL旅客機で14.3億円調達
IT関連
2022-02-13 05:57
MS幹部が語る、サイバーセキュリティ強化の鍵は人材の多様化–AIが果たす役割とは
IT関連
2023-08-29 07:54
急増する不正アクセス、「能動的サイバー防衛」への期待も山積する課題
IT関連
2023-12-19 22:30
ヤフオク!が「値下げ交渉」機能を終了 7月1日に
企業・業界動向
2021-04-02 12:41
横須賀の空、牛丼が飛ぶ 吉野家らがドローン配送実験
IT関連
2021-07-13 04:55
ChatGPTがもっと便利になるプラグイン–利用方法と注意点を解説
IT関連
2023-06-27 08:49
NTT Com、市街地映像のビッグデータ活用基盤「モビスキャ」を24年度上期に提供
IT関連
2024-01-14 13:39
木材の「ほぞ組み継手」を自動設計 東大「Tsugite」開発 :Innovative Tech
イラスト・デザイン
2021-04-09 02:33
スウェーデンのデータ監視機関が警察によるClearview AI使用は違法と判断
セキュリティ
2021-02-14 12:01
パスワードレスの最新動向、企業導入の可能性
IT関連
2021-08-03 13:19