SambaNova Systems、言語モデルに最適化された半導体「SN40L」を発表

今回は「SambaNova Systems、言語モデルに最適化された半導体「SN40L」を発表」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 フルスタックAIプラットフォームベンダーSambaNova Systemsは9月19日、新しい半導体「SN40L」を発表した。同社の大規模言語モデル(LLM)プラットフォーム「SambaNova Suite」を強化する。

 SN40Lは、言語モデルに最適化され、シングルシステムノードでシークエンス長が25万で、5兆個のパラメータを扱うことが可能。TSMCの5nmテクノロジーをベースとし、104.3Kmのワイヤー長、1026億個のトランジスターを持つ。同社「Cerulean」アーキテクチャーに基づく再構成可能なデータフローユニット(Reconfigurable Dataflow Unit:RDU)コアを1040個搭載し、638TFLOPS(bf16)という性能を備える。

 SN40Lの特徴の一つとして、同社で製品担当上級副社長を務めるMarshall Choy氏は、3層データフローメモリーの採用を挙げる。従来は高速なオンチップメモリーと大容量のDDRメモリーという2層だったが、Ceruleanベースのアーキテクチャーでは中間層として広帯域メモリー(HBM)を加えて3層としているという。

 3層のデータフローメモリーにより、学習性能はワークロードにもよるが1.5〜2倍以上まで向上し、推論性能も大幅に改善しているとChoy氏は述べ、1兆パラメータ級で300トークン/秒の推論性能を持ち、「NVIDIA DGX H100」と比べて推論スループットは2.5倍とアピールする。

 SN40Lの発表とともに、SambaNova Suiteの機能強化も明らかにした。SambaNova Suiteは、オンプレミスまたはクラウドで展開可能で、半導体からモデルまでが統合されている。今回、事前学習済みファンデーションモデルが「Bloom 176B」「Llama-2 7B/70B」にも対応した。

 また、ベクトルベースの検索補完生成(RAG)のための新しい埋め込みモデルは、ユーザーの文書をベクトル埋め込みに取り込むことを可能にし、Q&Aの過程で検索することができ、ハルシネーション(幻覚)を防ぐ。その結果をLLMにより情報を分析、抽出、要約できる。

 他には、音声データの書き起こしおよび分析する自動音声認識モデル、マルチモーダルおよび長いシーケンス長の機能の追加、3層のデータフローメモリーによる推論にも最適化されたシステムなどが含まれる。

 アジア太平洋地域ゼネラルマネージャーを務める鯨岡俊則氏は、生成AIに関する現在のトレンドについて触れ、コンシューマーと企業とで用途の違いがあると述べる。企業用途では、特定領域に特化したコーパスや社内の議事録・レポートといった機密性の高い非公開データを学習に使う必要があるという。

 また、同氏は、顧客が生成AIモデルを所有する重要性も指摘する。SambaNovaが提供する顧客所有モデルの場合、「組織内部のデータの正確性」「安全かつ非公開でモデルを適応」「モデルの重みの可視性」「学習データと学習方法の可視性」といった利点とともに、異なるプラットフォームへのモデル移動可能性を挙げる。

 SN40Lは、クラウドでの利用は可能で、出荷は、オンプレミス対象で11月を目途に開始する予定だという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
次世代ライブビデオアプリを強化する100msが約23.3億円を調達
IT関連
2022-03-13 13:09
JCB、メインフレームのデータをほぼリアルタイムに利用するシステム基盤を構築へ
IT関連
2024-06-14 18:18
G7のうち5カ国の政府が使う暗号化メッセージングアプリ「Wire」が約22.9億円調達
ソフトウェア
2021-04-16 00:23
キンドリル日本法人幹部が説く「ITインフラがこれから重視される理由」
IT関連
2023-01-21 07:39
Stack Overflowが約9万人のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはMySQLを抜いてPostgreSQLが1位に。Stack Overflow 2023 Developer Survey
AWS
2023-06-23 08:13
中小企業のサイバー防御、万全と回答したのはわずか22%–チェック・ポイント調査
IT関連
2024-06-25 17:40
ノーコードで「市民開発」を後押し–サービスナウ、Now Platformの最新版「Quebec」提供
IT関連
2021-03-15 02:16
富士通、機密データも安全に活用できる生成AIプラットフォーム
IT関連
2025-02-15 05:40
ドリーム・アーツ、「SmartDB」の国際対応を強化する「Global Connect」を発表
IT関連
2024-09-25 09:15
グローリーら、リテールメディアの広告主向けサービスを「東急ストア」で展開
IT関連
2024-10-10 13:54
NEC、RPAツールの最新版で初心者向けに作成をサポートする新機能
IT関連
2023-07-13 15:47
最新のRHEL9.3系に対応した「Linuxサーバー構築標準教科書(Ver.4.0.0)」LPI-Japanが無料公開。独習で仮想マシンやLinuxの導入、WebサーバやDNSサーバなど構築
Linux
2024-02-02 03:59
「Google Meet」、外見補正機能を導入–モバイル版から
IT関連
2023-10-25 02:42
なぜ、基幹システムのクラウド移行は進まないのか–日本オラクル社長に聞いてみた
IT関連
2023-04-21 01:37