「Claude 3 Opus」が「GPT-4」を抜き1位に–Chatbot Arenaランキングで

今回は「「Claude 3 Opus」が「GPT-4」を抜き1位に–Chatbot Arenaランキングで」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 人工知能(AI)スタートアップのAnthropicが提供する大規模言語モデル(LLM)「Claude 3 Opus」が米国時間3月26日、AIチャットボットの能力を比較できる「Chatbot Arena」のランキングで、OpenAIの「GPT-4」を抜いて、首位に輝いた。

 Chatbot Arenaは、さまざまなAIモデルの有効性をテストし、比較できるサイトだ。カリフォルニア大学バークレー校の学生と教授陣らによる、オープンな研究組織Large Model Systems Organization(LMSYS Org)が、2023年5月に立ち上げた。Claudeは今回初めて、同サイトのリーダーボード(順位表)でGPT-4モデルを2位に押しやり、トップに立った。

 Claude 3 Opusは開発者向けAPIとClaude 3ウェブサイトで利用できる。Claude 3の3つのモデルの1つで、ほかに「Sonnet」と「Haiku」がある。同社によると、Claude 3は従来の「Claude 2」「Claude 2.1」と同程度のスピードだが、その知識ははるかに高度だという。

 Chatbot Arenaはクラウドソーシングの手法を用いており、誰でも利用できる。チャットページでは、Claude、「GPT-3.5」、GPT-4のほか、Googleの「Gemini」、Metaの「Llama 2」など、32種類のAIモデルの中から、2つのモデルの回答が表示される。プロンプトを入力すると、2つの回答は「モデルA」および「モデルB」として提供され、どのAIモデルによる回答なのかは知らされない。

 ユーザーはそれぞれの回答を読んだ後に、AとBのどちらを好むか、あるいは同等だと見なすかを選択する。評価を送信して初めて、2つのAIモデルが明かされるようになっている。

 LMYSY Orgはユーザーの投票を基に、相対評価で実力を示すイロ(Elo)レーティングを用いて、LLMランキングを決定する。最新のリーダーボードでは、Claude 3 Opusが1253のスコアを獲得して首位に立ち、「GPT-4-1106-preview」がスコア1251で2位となった。

 最新ランキングで評価が高かったその他のLLMには、「GPT-4-0125-preview」、Googleの「Gemini Pro」、「Claude 3 Sonnet」「GPT-4-0314」「Claude 3 Haiku」などがある。トップ10に、Anthropicの最新のClaude 3モデルがすべてランクインしているのは、注目に値するだろう。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
デジタルサービスの利用は銀行で46%、証券でも54%に拡大–アドビ調査
IT関連
2022-08-18 08:40
IBM、企業のビジネスニーズに対応したAIおよびデータプラットフォームを提供
IT関連
2023-07-15 07:11
2023年に見込まれるテクノロジー投資増–けん引役はクラウド移行の根強い需要
IT関連
2022-12-09 18:04
資生堂、日本とタイのプロフェッショナル事業で基幹系業務システムを刷新
IT関連
2021-02-18 09:50
EdTech大手Course Heroが古典文学の要約サービス「LitCharts」を買収
EdTech
2021-06-13 16:31
ユーザーによる写真投稿数55万枚、美容医療の口コミ・予約アプリ「トリビュー」が10億円のシリーズB調達
IT関連
2022-02-02 01:30
「マジック・クアドラントで2位に浮上することになるだろう」–Extreme Networks
IT関連
2024-03-05 02:51
技術的負債を抱えたレガシーコード。変なメソッド名と入り組んだロジック、リファクタリングするならどちらが先?(前編)
Java
2024-07-01 04:36
全ての企業は「テクノロジーカンパニー」に–HPEネリCEO
IT関連
2021-06-24 12:07
第4回:データクラウドの要件整理と導入後の運用戦略を考える
IT関連
2025-03-29 01:20
マッキンゼーやBCGも注目、自律分散型の「アジャイル組織」とは
IT関連
2021-02-18 20:26
オーシャンテックを育てるOcean Solutions Acceleratorが2021年から後期段階のスタートアップも対象に
EnviroTech
2021-04-11 11:53
ちふれ化粧品、4種のECサイトを統合–ブランド横断の商品検索実現
IT関連
2024-04-17 16:00
「人」と「技術」に積極的な投資を–さくらインターネット・田中社長
IT関連
2023-01-12 15:31