AIモデルの「ロングコンテキストウィンドウ」とは?

今回は「AIモデルの「ロングコンテキストウィンドウ」とは?」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 テレビシリーズを一気見するとき、一度に1エピソード分しか覚えていられないとしよう。次のエピソードに移ると、さっき見たものを一瞬ですべて忘れてしまう。では、その番組で見たすべてのエピソード、すべてのシーズンを覚えていられるとしよう。今度はストーリー、登場人物、紆余曲折を把握できる。

 人工知能(AI)モデルの話では、一度に1エピソードしか記憶できず、次のエピソードに移ると強制的に忘れさせられることが「ショートコンテキストウィンドウ」に当たる。シリーズのすべてのエピソードを覚えていられることが、コンテキストが大きいAIモデル、すなわち「ロングコンテキストウィンドウ」に当たる。

 つまり、ロングコンテキストウィンドウとは、モデルが同時に多くの情報を覚えていられるということだ。

 ロングコンテキストウィンドウについて、そしてボットなどのシステムのパフォーマンスへの影響についてさらに知るには、AIにおける「コンテキスト」を理解する必要がある。

 「ChatGPT」、チャットボットの「Gemini」「Microsoft Copilot」などのAIシステムは、AIモデル(それぞれ「GPT-3.5」「Gemini」「GPT-4」)をベースとして構築されている。モデルは知識を保持し、対話中の情報を記憶し、質問に適切に応答するなど、システムの「頭脳」として機能する。

 AIにおけるコンテキストとは、AIがいま処理しているデータに意味と関連度を与える情報を指す。モデルが判断や応答生成の際に考える情報だ。

 コンテキストはトークンという単位で測られ、コンテキストウィンドウは、モデルが一度に考慮できる(扱える)トークンの最大数を表す。各トークンは言語にもよるが、単語だったり単語の一部であったりする。英語の場合、1トークンは1単語であることが多く、GPT-4のようなAIモデルは、トークンウィンドウが1万6000(16k)トークンだと、およそ1万2000単語を扱える。

 1万2000単語を扱えるAIチャットボットであれば、3000単語の記事や5000単語の論文を要約した上で、ユーザーが読み込ませたその文書の内容を忘れることなく、追加の質問に答えることができる。対話全体を通じて、それまでに伝えたメッセージのトークンも加味され、ボットは話されている内容の文脈(コンテキスト)を理解する。

 したがって、対話がトークン数の上限以下に収まっていれば、AIチャットボットはすべてのコンテキストを保持できる。しかし、トークン数の上限を超えると、トークンウィンドウ以内に収めるために、最初の方のトークンは無視されたり失われたりする可能性が高く、ボットは文脈を見失うことになるかもしれない。

 「Gemini 1.5 Pro」の100万トークンという巨大なトークンウィンドウをGoogleが誇らしげに宣伝するのはこのためだ。Googleの最高経営責任者(SEO)Sundar Pichai氏によると、コンテキストウィンドウが100万トークンならば、チャットボット「Gemini Advanced」でコードなら3万行以上、PDFファイルなら最大1500ページ、Cheesecake Factoryのメニューなら96冊を処理できるという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
大塚商会、2023年12月期決算は増収増益–次期は売上高1兆円超を計画
IT関連
2024-02-03 09:01
NTT西日本とNTTスマートコネクト、自治体・企業向けテキスト生成AIサービスを提供
IT関連
2023-08-24 03:17
進むAI-OCR活用、電子文書とRPAの自動化が生み出す成果
IT関連
2022-10-18 03:34
JR東日本、時速360キロの新幹線から5Gで8K映像伝送などに成功
IT関連
2021-01-28 16:51
Facebookの監督委員会がプロジェクトが成功すれば「他ソーシャルネットワークの参加も歓迎」
パブリック / ダイバーシティ
2021-02-13 14:36
サブウェイ店舗でAIが表情・視線を基にメニュー提案、OKIがAI用いた感情推定技術を活用した提案型注文システムの実証実験
人工知能・AI
2021-08-03 23:33
雑誌「幼稚園」5月号の付録にセルフレジ 東芝テックが協力 「音声は本物と同じ」
くらテク
2021-03-04 20:40
NEC、あしなが育英会と連携で「Canpass」開発–1万件以上の奨学金情報が検索可能
IT関連
2021-06-16 19:46
スポーツクラブ大手がノーコード開発ツールを導入–現場担当者が3日でアプリ開発
IT関連
2022-04-07 20:41
SolarWinds製品を悪用した攻撃、テクノロジー企業など民間100社近くが被害に
IT関連
2021-02-22 14:19
AI型教材「Qubena」が北海道留萌市で正式採用–約1100人が利用
IT関連
2022-08-20 09:44
飲食店向けテイクアウトの予約・決済サービス「TakeEats」運営のランプが約1億円調達
ネットサービス
2021-02-02 05:01
NECと東北大学病院、医療文書の自動作成に取り組む–「医師の働き方改革」目指す
IT関連
2023-12-16 08:39
凸版印刷とDeNA、メタバース空間におけるアバター生成管理基盤を実証
IT関連
2022-11-09 21:50