WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場

今回は「WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場」についてご紹介します。

関連ワード (性能、機械学習、機械学習処理等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


マイクロソフトはWebブラウザ上で実行可能な推論エンジン「ONNX Runtime Web」の最新版となる「ONNX Runtime Web 1.17」でWebGPUに対応したことを発表しました。

ONNX Runtime Web 1.17でWebGPU対応を発表

ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします。

ONNX Runtime WebはこれをWebブラウザに対応させた実装です。これまでWebAssemblyやWebGLを用いていました。

参考:マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開

今回のONNX Runtime Web 1.17で対応したWebGPUは、Webブラウザ上でJavaScriptを用いた2次元や3次元の高速なグラフィックスの描画を行うWeb標準として広く使われてきた「WebGL」の後継となる、新しいWeb標準です。

WebGPUはオーバーヘッドが小さく低レイヤでの処理が行えることでGPUの能力をより高く引き出せるため、Webブラウザでの高速なグラフィクスレンダリングや機械学習処理などを可能にします。

WebGPU対応により、ONNX Runtime Webはこれまで以上にGPUを活用した高速な推論処理が可能となりました。

Webブラウザ上でStable Diffusion Turboを実行

マイクロソフトは今回の発表を行ったブログ「ONNX Runtime Web unleashes generative AI in the browser using WebGPU」で、Webブラウザ上でStable Diffusion TurboのようなAIモデルを実行できるようになると次のように説明しました。

This innovation unlocks new possibilities for executing state-of-the-art sophisticated models like Stable Diffusion Turbo directly in the browser. It is particularly advantageous in scenarios where CPU-based in-browser ML falls short of meeting performance standards. >

この技術革新により、Stable Diffusion Turboのような最先端の洗練されたモデルをブラウザで直接実行する新たな可能性が開かれた。特にCPUベースでのWebブラウザ内AI処理が性能に見合わない場合に有効となる。

これまでのWebGLと比較してWebGPUはより効率的な素理論が可能だと説明されています。

Compared to WebGL, WebGPU is capable of handling more complex machine learning workloads in a more efficient way with advanced features such as compute shader. Its support for half-precision (FP16) reduces GPU memory usage and bandwidth requirements while accelerating arithmetic. WebGPU promises inferencing more efficient and scalable machine learning applications directly within the web browser by harnessing GPU power for parallel computation tasks.

WebGLと比較して、WebGPUはコンピュートシェーダーなどの高度な機能により、より複雑な機械学習のワークロードをより効率的な方法で処理できます。半精度(FP16)をサポートすることでGPUのメモリ使用量と帯域幅の要件を削減すると同時に、演算を高速化します。WebGPUは並列計算タスクにGPUの能力を活用することで、スケーラブルな機械学習アプリケーションをWebブラウザ内で直接、より効率的に推論処理できるようになることを約束します。

そしてマイクロソフトはONNX Runtime Webを用いてWebブラウザ上でStable Diffusion Turboを実行可能なコードをGitHub上で公開しました。

マイクロソフトによると、GPUにRTX 4090を搭載したマシンのWebブラウザ上でStable Diffusion Turboを実際に実行した結果、1秒以内に結果が出力されたと説明しています。

参考:マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」(ORT Web)をオープンソースで公開

COMMENTS


Recommended

TITLE
CATEGORY
DATE
消費者団体が13歳以下の子ども向けInstagramの開発中止をフェイスブックに要望
ネットサービス
2021-04-20 15:59
2020年は「“境界線防御”の破綻」の年だった–トレンドマイクロ
IT関連
2021-01-22 22:13
Nozomi Networks、OT/IoTセキュリティをas a Serviceモデルで提供
IT関連
2022-11-23 01:06
変革推進のアドバイザーとして「五味一体の改革」を支援–SAPジャパン・鈴木社長
IT関連
2023-01-06 21:57
大成建設、全管理職対象に「リベラルアーツ思考ビジネスプログラム」導入
IT関連
2024-10-02 17:01
芸能界の“Netflix詣で”急加速 魅力的な世界配信と高額ギャラ
IT関連
2021-01-28 04:41
プログラマー向けQ&Aサイト「Stack Overflow」をProsusが18億ドルで買収
アプリ・Web
2021-06-04 02:28
JavaScriptパッケージシステム「npm」は巨大なバグを抱えていると指摘し、新たなパッケージシステムを開発する「vlt」。npm作者らの参加を発表
Deno
2024-04-04 01:31
障害者手帳アプリ「ミライロID」やユニバーサルデザインのソリューションを提供するミライロが資金調達
パブリック / ダイバーシティ
2021-04-03 19:36
今週のロボティクスニュースは「ハンバーガー」と「自動車」
ロボティクス
2021-05-08 16:29
COBOLの利用、従来予測の約3倍との調査結果
IT関連
2022-02-12 16:04
マカフィー、インテルのAI PCを使ったディープフェイク対策機能を発表
IT関連
2024-05-12 07:24
NTTの災害対策ソリューションはグループの総力を結集せよ
IT関連
2023-06-30 12:40
コンタクトセンターでのAI活用は5割以上–生成AIにも前向き
IT関連
2023-10-06 23:32