「ChatGPT」はバグ修正も得意–開発者の負担が軽減されるかは不明

今回は「「ChatGPT」はバグ修正も得意–開発者の負担が軽減されるかは不明」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 OpenAIが開発したチャットボットである「ChatGPT」は、ソフトウェアに潜んでいるバグの修正にも長けている。他の手法や人工知能(AI)モデルの追随を許していないその優位性は、回答の精度を向上させるために人間と対話できる能力にある。

 ヨハネス・グーテンベルク大学マインツとロンドン大学のリサーチャーらはプログラムのバグ修正能力を評価するためにChatGPTと、「一般的な自動プログラム修正(APR)技術」、そしてディープラーニング(DL)を用いた2種類のアプローチ、すなわちカナダのウォータールー大学のリサーチャーらが開発した「CoCoNuT」と、GitHubのAIペアプログラミングサービス「GitHub Copilot」の土台となっている、OpenAIの「GPT-3」をベースにした「OpenAI Codex」を交えて競わせてみた。

 その結果は、コーネル大学が運営する論文公開サイト「arXiv」で公開され、New Scientistによって最初に取り上げられることになった。「An Analysis of the Automatic Bug Fixing Performance of ChatGPT」(ChatGPTの自動バグ修正能力の分析)と題されたこの論文には、「ChatGPTのバグ修正能力は、広く知られているDLアプローチであるCoCoNuTやCodexに匹敵しており、一般的なバグ修正アプローチで報告されているよりも極めて優れている」と記されている。

 ChatGPTがコーディング上の問題を解決できるという話は目新しいものではないが、リサーチャーらは人との対話というユニークな能力によって他のアプローチやモデルよりも優れた潜在的優位性が得られるという点に光を当てている。

 リサーチャーらは、「QuixBugs」というバグ修正ベンチマークを用いてChatGPTの能力を評価した。なお、評価したAPRシステムは2018年以前に開発されたものであったため、不利な戦いを強いられたようだ。

 ChatGPTのベースになっている「Transformer」アーキテクチャーはGoogleによって開発されたものであり、その点についてはMetaのチーフAIサイエンティストであるYann LeCun氏も米国時間1月19日にあらためて指摘していた。また、Codexや、Microsoft Researchの「CodeBERT」、そしてその前身であり、Googleによって開発された「BERT」はいずれも、GoogleのTransformerをベースにしている。

 OpenAIはコードのデバッグにおいて、ChatGPTの対話能力を強調しており、より適切な解決策を得る上で、意味を明確にするための説明を求めたり、相手からヒントを得たりできるようになっているとしている。同社は人間のフィードバックを反映させた強化学習(RLHF)を用いて、ChatGPTのベースとなっている大規模言語モデル(GPT-3と「GPT-3.5」)を訓練した。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
開発者の男女格差是正に向けて–業界の女性を支援する非営利団体の取り組み
IT関連
2022-03-26 17:44
タニタが「アイドルマスター」コラボ計量器 歌詞の“空耳”きっかけで「5年の時を経て」実現
ネットトピック
2021-08-11 19:48
ダイバーシティの数字遊びから脱却し、Twilioが反人種差別企業になるため取った取り組みとは
IT関連
2021-08-20 06:55
Sansanの2023年5月期第2四半期決算、「Bill One」が継続して高成長
IT関連
2023-01-15 22:54
Googleストリートビューのハイパーラプス、天気や時間など統一して作成する技術 :Innovative Tech
トップニュース
2021-01-30 09:45
ラズパイで「Windows 10 on ARM64」を動かす(インストール編) :名刺サイズの超小型PC「ラズパイ」で遊ぶ(第38回)(1/2 ページ)
トップニュース
2021-04-11 23:38
LandSkipが空の8K動画映像を映し出すデジタル天窓「Window Sky」を発売
ハードウェア
2021-06-03 08:40
「テディにも野菜あげて」の声届く 「PUI PUI モルカー」ぬいぐるみ、にんじんの着せ替えパーツ付きに
くらテク
2021-02-07 04:08
LINE MUSIC、AIチャットボット導入で顧客満足度10%向上–FAQサイトもリアルタイム更新へ
IT関連
2025-03-22 16:22
インテル、半導体パッケージングの先端技術で復権目指す
IT関連
2022-08-25 11:18
ウイングアークとスマートバリュー、自治体向けの公共施設予約システムを提供
IT関連
2024-05-02 07:14
バナジウムイオン電池開発の韓国Standard Energyがソフトバンクから約9.7億円調達
ハードウェア
2021-04-16 05:09
「ChatGPT」、「高度な音声モード」の提供を開始–有料ユーザーを対象に
IT関連
2024-09-26 10:14
空飛ぶクルマ・eVTOLのテトラが新機種Mk-5の7月末予約販売開始を発表、開発と人材育成で福島県南相馬市と連携協定
モビリティ
2021-07-09 02:41