「ChatGPT」はバグ修正も得意–開発者の負担が軽減されるかは不明

今回は「「ChatGPT」はバグ修正も得意–開発者の負担が軽減されるかは不明」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 OpenAIが開発したチャットボットである「ChatGPT」は、ソフトウェアに潜んでいるバグの修正にも長けている。他の手法や人工知能(AI)モデルの追随を許していないその優位性は、回答の精度を向上させるために人間と対話できる能力にある。

 ヨハネス・グーテンベルク大学マインツとロンドン大学のリサーチャーらはプログラムのバグ修正能力を評価するためにChatGPTと、「一般的な自動プログラム修正(APR)技術」、そしてディープラーニング(DL)を用いた2種類のアプローチ、すなわちカナダのウォータールー大学のリサーチャーらが開発した「CoCoNuT」と、GitHubのAIペアプログラミングサービス「GitHub Copilot」の土台となっている、OpenAIの「GPT-3」をベースにした「OpenAI Codex」を交えて競わせてみた。

 その結果は、コーネル大学が運営する論文公開サイト「arXiv」で公開され、New Scientistによって最初に取り上げられることになった。「An Analysis of the Automatic Bug Fixing Performance of ChatGPT」(ChatGPTの自動バグ修正能力の分析)と題されたこの論文には、「ChatGPTのバグ修正能力は、広く知られているDLアプローチであるCoCoNuTやCodexに匹敵しており、一般的なバグ修正アプローチで報告されているよりも極めて優れている」と記されている。

 ChatGPTがコーディング上の問題を解決できるという話は目新しいものではないが、リサーチャーらは人との対話というユニークな能力によって他のアプローチやモデルよりも優れた潜在的優位性が得られるという点に光を当てている。

 リサーチャーらは、「QuixBugs」というバグ修正ベンチマークを用いてChatGPTの能力を評価した。なお、評価したAPRシステムは2018年以前に開発されたものであったため、不利な戦いを強いられたようだ。

 ChatGPTのベースになっている「Transformer」アーキテクチャーはGoogleによって開発されたものであり、その点についてはMetaのチーフAIサイエンティストであるYann LeCun氏も米国時間1月19日にあらためて指摘していた。また、Codexや、Microsoft Researchの「CodeBERT」、そしてその前身であり、Googleによって開発された「BERT」はいずれも、GoogleのTransformerをベースにしている。

 OpenAIはコードのデバッグにおいて、ChatGPTの対話能力を強調しており、より適切な解決策を得る上で、意味を明確にするための説明を求めたり、相手からヒントを得たりできるようになっているとしている。同社は人間のフィードバックを反映させた強化学習(RLHF)を用いて、ChatGPTのベースとなっている大規模言語モデル(GPT-3と「GPT-3.5」)を訓練した。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
がん免疫細胞療法に向け細胞医薬品の開発に取り組む九州大学発スタートアップ「ガイアバイオメディシン」が1億円調達
バイオテック
2021-06-05 23:40
Deel、渋谷区「SHIBUYA STARTUP SUPPORT」と提携–スタートアップ企業を支援
IT関連
2022-11-22 01:17
NTTデータGSL、企業内大学「GSL大学」が5周年–2027年問題を見据えSAP人材の育成強化
IT関連
2025-01-25 17:39
ランボルギーニカウンタックLPI800-4は802馬力のハイブリッドスーパーカー
IT関連
2021-08-15 19:51
三菱電機、教師データ作成不要の「行動分析AI」を開発
IT関連
2024-01-27 06:53
KEC関西電子工業振興センター、申請書の処理業務を約4割削減–「X-point Cloud」導入
IT関連
2022-07-15 00:50
企業が使うPCの43%は「Windows 11」の要件を満たしていない
IT関連
2022-10-19 22:54
研究者が明らかにした「Windows Hello」の顔認証をパイパスできる脆弱性
IT関連
2021-07-21 20:54
マイクロソフト、欧州顧客向けに新たなデータストレージの選択肢を提供へ
IT関連
2021-05-07 11:15
猫の自動洗浄トイレ「ネコレット」、大和ハウスが発売 シャンプーに便利なシンク付き
くらテク
2021-02-23 20:36
東芝テックら、商品の香りが分かる新サービス–来店客の行動変容を把握
IT関連
2024-06-18 19:07
OpenAI、新しい動画生成AIモデル「Sora Turbo」を有料ユーザーに公開
IT関連
2024-12-11 08:39
NetflixがECサイト「Netflix.shop」を米国でオープン 新進アーティストとアニメやドラマのコラボ商品を展開
企業・業界動向
2021-06-12 23:33
アバイアが取り組む「メタバース向けコンタクトセンター」
IT関連
2022-10-29 16:16