Meta、コード生成や解釈に特化した大規模言語モデル「Code Llama」公開
今回は「Meta、コード生成や解釈に特化した大規模言語モデル「Code Llama」公開」についてご紹介します。
関連ワード （サイズ、結果、高速等） についても参考にしながら、ぜひ本記事について議論していってくださいね。
本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。
Metaは、コードもしくは自然言語によるプロンプトから、コードの生成およびコードに関する自然言語の説明を生成できる大規模言語モデル「Code Llma」を公開しました。
Code Llmaは、先月（2023年7月）にMetaが発表した大規模言語モデル「Llma 2」をベースに、コードに特化したデータセットでさらに訓練したバージョンだと説明されています。
対応するプログラミング言語はPython、C++、Java、PHP、JavaScript、Typescript、C#、Bashなどを始めとする主要な言語。
GPUで処理できるサイズやPython特化のモデルも
Code Llmaは3つのサイズ、7B、13B、34Bが提供されています。
7Bモデルは1つのGPUで処理できる一方で、34Bモデルは最善の結果を返し、より良いコーディング支援を可能にする能力があります。
一方、7Bおよび13Bモデルは高速に動作するため、リアルタイムコード補完のような低レイテンシを必要とするタスクに適しているなど、それぞれに適した用途が存在します。
さらに、Pythonの能力に特化してファインチューニングした「Code Llama – Python」および人間が自然言語で入力したプロンプトから何を期待しているのかをよりよく理解できるようにファインチューニングした「Code Llama – Instruct」も提供されます。
特有のライセンス条件に注意
Code LlmaはLlma本体と同じく研究目的や商業用途で利用可能なLlma 2 Community Licenseで提供されます。
ただし月間アクティブユーザーが7億人以上のサービスで利用する場合にはMetaから別途ライセンスを取得する必要があるなど、このライセンス特有の制限項目などがあるため、念のためライセンスを確認した上で利用されることをおすすめします。