「GPT-4」を公開したOpenAI、詳細な技術情報は非公開

今回は「「GPT-4」を公開したOpenAI、詳細な技術情報は非公開」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 人工知能(AI)研究の世界では、ソフトウェアに関する技術的な詳細情報について、他の研究者がそのプログラムを理解し、そこから何かを学べるように、研究論文として公開するのが通例だ。

 しかし、熱狂的な人気を博している対話型AI「ChatGPT」を手がけるOpenAIが、その心臓部を構成するプログラムの最新版「GPT-4」を米国時間3月14日にリリースしたとき、その伝統は絶たれた。

 OpenAIのブログ投稿と併せて14日にリリースされたGPT-4の技術レポートでは、競争と安全性を考慮して技術的な詳細情報の提供を控えると述べている。

 レポートには次のように書かれている。「GPT-4のような大規模モデルの競合状況および安全性の意味合いを考慮して」「このレポートでは(モデルサイズを含む)アーキテクチャー、ハードウェア、トレーニングコンピュート、データベースの構造、トレーニングメソッドなどの情報に関して、これ以上の詳細を述べない」

 「アーキテクチャー」という用語は、人工ニューロンがどのように張り巡らされ、どのAIプログラムにも必要不可欠な要素がどのような状態であるかという、AIプログラムの基本的な構造を意味する。また、プログラムの「サイズ」とは、利用しているニューラルの「重み」、つまりパラメーターの数のことで、特定のプログラムが他のプログラムとの違いをだすための重要な要素の1つだ。

 こうした詳細情報がないため、GPT-4は完全に謎のプログラムだ。この研究論文は、その意味で研究内容を何も明らかにしていない。

 このプログラムの構造について、レポートでは2つの文で非常に大まかに説明している。

 「GPT-4は、文書内の次のトークンを予測する訓練済みの『Transformer』形式モデルで、(インターネットデータなどの)利用可能な公開データと外部の提供事業者からライセンス供与されたデータの両方を利用している。モデルはその後、人間によるフィードバックを用いた強化学習(RLHF:Reinforcement Learning from Human Feedback)によって微調整されている」

 どちらの文も、このプログラムをざっと見れば分かる程度のことしか述べていない。

 こうした秘密主義は大半のAI研究者のやり方と異なる。他の研究所では詳細な技術的情報だけでなくソースコードも投稿することが多い。そうすることで他の研究者が結果を再現できるからだ。

 さらに、情報を非公開にするのは、これまで情報を限定的に公開してきたOpenAIのやり方とも異なっている。

 GPT-4は、その名称から分かるように、人間の言語を扱うために開発された「GPT」(Generative Pre-trained Transformer)というプログラムの4番目のバージョンだ。最初のバージョンを2018年にリリースした際、OpenAIはソースコードを公開しなかった。しかし同社は、GPT-1の各種パーツをどのように構成したか、つまりアーキテクチャーについて詳細に説明した。

 そうした技術情報が公開されたため、多くの研究者は構造を再現することは無理だとしても、プログラムの機能に関して推論することはできた。

 過去のやり方に反して、GPT-4の技術レポートは初めて非公開という方向に舵を切った。ソースコードや完成したプログラムだけでなく、外部の研究者がプログラムの構造を推測するための技術的な詳細情報も差し控えるという決定は、新たな種類の情報欠落と言えるだろう。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
Eight Roads Ventures Europeの「新星」ルシール・コルネ氏が女性初のパートナーに就任
VC / エンジェル
2021-01-26 04:57
「1人目のエンジニア」が組織に与える変化とは?
IT関連
2021-04-01 21:49
【コラム】「脳の多様性」を活用してサイバーセキュリティのスキルギャップを解消する
セキュリティ
2021-07-06 19:11
ランサムウェア犯罪者の戦術が変化–身代金の高額化につながる可能性
IT関連
2022-02-17 21:59
ゾウの鼻みたいに巻き付いて持ち上げられる布製ロボット :Innovative Tech
トップニュース
2021-03-18 03:08
フィッシングやサプライチェーン攻撃に引き続き警戒を–BlackBerryの脅威レポート
IT関連
2022-04-27 12:13
東通企画、基幹業務システムにクラウドERPを採用
IT関連
2022-08-19 00:14
対策ツールによる「復旧事例」公表でランサムウェア攻撃の抑止につなげよ
IT関連
2023-01-07 04:47
「アジャイルサムライ」の著者が語る、技術志向の企業が世界をどう見ているのか? そしてソフトウェアテスト自動化を進化させる方法について(中編)。JaSST'22 Tokyo基調講演
CI/CD
2022-04-11 05:07
Twitter、モバイルでの4K画像投稿・表示を正式機能に
アプリ・Web
2021-04-23 21:19
身体の一部しか見えていなくても、全身を3Dモデル化 機械学習で :Innovative Tech
イラスト・デザイン
2021-03-29 00:16
電気代の高騰、経産省が分割払いや支払い猶予など「柔軟な対応」求める 電力小売事業者の救済措置も
くらテク
2021-02-02 17:20
マイクロソフトのパートナープログラム、クラウド重視の「Microsoft Cloud Partner Program」へ
IT関連
2022-03-19 01:12
日立、移動制約者の案内業務を支援するSaaS–西武や小田急で実績
IT関連
2022-08-10 15:32