SambaNova Systems、言語モデルに最適化された半導体「SN40L」を発表

今回は「SambaNova Systems、言語モデルに最適化された半導体「SN40L」を発表」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 フルスタックAIプラットフォームベンダーSambaNova Systemsは9月19日、新しい半導体「SN40L」を発表した。同社の大規模言語モデル(LLM)プラットフォーム「SambaNova Suite」を強化する。

 SN40Lは、言語モデルに最適化され、シングルシステムノードでシークエンス長が25万で、5兆個のパラメータを扱うことが可能。TSMCの5nmテクノロジーをベースとし、104.3Kmのワイヤー長、1026億個のトランジスターを持つ。同社「Cerulean」アーキテクチャーに基づく再構成可能なデータフローユニット(Reconfigurable Dataflow Unit:RDU)コアを1040個搭載し、638TFLOPS(bf16)という性能を備える。

 SN40Lの特徴の一つとして、同社で製品担当上級副社長を務めるMarshall Choy氏は、3層データフローメモリーの採用を挙げる。従来は高速なオンチップメモリーと大容量のDDRメモリーという2層だったが、Ceruleanベースのアーキテクチャーでは中間層として広帯域メモリー(HBM)を加えて3層としているという。

 3層のデータフローメモリーにより、学習性能はワークロードにもよるが1.5〜2倍以上まで向上し、推論性能も大幅に改善しているとChoy氏は述べ、1兆パラメータ級で300トークン/秒の推論性能を持ち、「NVIDIA DGX H100」と比べて推論スループットは2.5倍とアピールする。

 SN40Lの発表とともに、SambaNova Suiteの機能強化も明らかにした。SambaNova Suiteは、オンプレミスまたはクラウドで展開可能で、半導体からモデルまでが統合されている。今回、事前学習済みファンデーションモデルが「Bloom 176B」「Llama-2 7B/70B」にも対応した。

 また、ベクトルベースの検索補完生成(RAG)のための新しい埋め込みモデルは、ユーザーの文書をベクトル埋め込みに取り込むことを可能にし、Q&Aの過程で検索することができ、ハルシネーション(幻覚)を防ぐ。その結果をLLMにより情報を分析、抽出、要約できる。

 他には、音声データの書き起こしおよび分析する自動音声認識モデル、マルチモーダルおよび長いシーケンス長の機能の追加、3層のデータフローメモリーによる推論にも最適化されたシステムなどが含まれる。

 アジア太平洋地域ゼネラルマネージャーを務める鯨岡俊則氏は、生成AIに関する現在のトレンドについて触れ、コンシューマーと企業とで用途の違いがあると述べる。企業用途では、特定領域に特化したコーパスや社内の議事録・レポートといった機密性の高い非公開データを学習に使う必要があるという。

 また、同氏は、顧客が生成AIモデルを所有する重要性も指摘する。SambaNovaが提供する顧客所有モデルの場合、「組織内部のデータの正確性」「安全かつ非公開でモデルを適応」「モデルの重みの可視性」「学習データと学習方法の可視性」といった利点とともに、異なるプラットフォームへのモデル移動可能性を挙げる。

 SN40Lは、クラウドでの利用は可能で、出荷は、オンプレミス対象で11月を目途に開始する予定だという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
鹿島建設、クラウドERPを部門導入–案件別に工数の予実管理が可能に
IT関連
2023-04-07 08:52
IIJ、都立学校248校の帯域確保型インターネット接続環境を構築
IT関連
2023-04-30 06:43
[速報]マイクロソフト「Windows 365 Cloud PC」正式発表。Windowsをクラウドサービスとして月額定額料金で提供、デスクトップ仮想化をベースに
Microsoft
2021-07-15 19:04
講談社がクソゲー専門コンペ開催 特別審査員に野田クリスタル
くらテク
2021-07-08 08:05
対話AI「ChatGPT」で生成した回答、「Stack Overflow」で一時禁止に
IT関連
2022-12-07 05:32
「Chromebook」誕生から10年、急成長を支える実力–「Windows」の牙城揺るがす?
IT関連
2021-05-18 13:02
コニカミノルタ、教育現場向け生成AIを開発–9月に大阪市の小中学校で利用開始
IT関連
2024-05-09 01:47
【コラム】WeWorkはサービスをバラ売りすることで立て直しを図っているがその戦略はうまくいくのか
その他
2021-04-04 19:30
日本製鉄、輸入原料船の運航情報をリアルタイム取得–意思決定の迅速化でサプライチェーン効率化
IT関連
2023-05-31 01:27
競争が激化する中、TikTokはクリエイター向けに6つの新しいインタラクティブな音楽エフェクトを発表
ネットサービス
2021-04-09 12:14
アイルランドにおけるサイバーセキュリティの最新事情
IT関連
2022-09-06 15:45
光洋ショップ‐プラスと富士通、生体認証を使った一般向けレジなし店舗を実証実験
IT関連
2021-01-16 08:13
先週の労働問題:GitHubがナチス発言社員を解雇、Facebookが公民権担当幹部を採用、Dropboxが315人を解雇
パブリック / ダイバーシティ
2021-01-19 06:24
VRで対人スキル向上 大阪府教育庁、支援学校に導入
IT関連
2021-01-22 20:16