「ChatGPT」はバグ修正も得意–開発者の負担が軽減されるかは不明

今回は「「ChatGPT」はバグ修正も得意–開発者の負担が軽減されるかは不明」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 OpenAIが開発したチャットボットである「ChatGPT」は、ソフトウェアに潜んでいるバグの修正にも長けている。他の手法や人工知能(AI)モデルの追随を許していないその優位性は、回答の精度を向上させるために人間と対話できる能力にある。

 ヨハネス・グーテンベルク大学マインツとロンドン大学のリサーチャーらはプログラムのバグ修正能力を評価するためにChatGPTと、「一般的な自動プログラム修正(APR)技術」、そしてディープラーニング(DL)を用いた2種類のアプローチ、すなわちカナダのウォータールー大学のリサーチャーらが開発した「CoCoNuT」と、GitHubのAIペアプログラミングサービス「GitHub Copilot」の土台となっている、OpenAIの「GPT-3」をベースにした「OpenAI Codex」を交えて競わせてみた。

 その結果は、コーネル大学が運営する論文公開サイト「arXiv」で公開され、New Scientistによって最初に取り上げられることになった。「An Analysis of the Automatic Bug Fixing Performance of ChatGPT」(ChatGPTの自動バグ修正能力の分析)と題されたこの論文には、「ChatGPTのバグ修正能力は、広く知られているDLアプローチであるCoCoNuTやCodexに匹敵しており、一般的なバグ修正アプローチで報告されているよりも極めて優れている」と記されている。

 ChatGPTがコーディング上の問題を解決できるという話は目新しいものではないが、リサーチャーらは人との対話というユニークな能力によって他のアプローチやモデルよりも優れた潜在的優位性が得られるという点に光を当てている。

 リサーチャーらは、「QuixBugs」というバグ修正ベンチマークを用いてChatGPTの能力を評価した。なお、評価したAPRシステムは2018年以前に開発されたものであったため、不利な戦いを強いられたようだ。

 ChatGPTのベースになっている「Transformer」アーキテクチャーはGoogleによって開発されたものであり、その点についてはMetaのチーフAIサイエンティストであるYann LeCun氏も米国時間1月19日にあらためて指摘していた。また、Codexや、Microsoft Researchの「CodeBERT」、そしてその前身であり、Googleによって開発された「BERT」はいずれも、GoogleのTransformerをベースにしている。

 OpenAIはコードのデバッグにおいて、ChatGPTの対話能力を強調しており、より適切な解決策を得る上で、意味を明確にするための説明を求めたり、相手からヒントを得たりできるようになっているとしている。同社は人間のフィードバックを反映させた強化学習(RLHF)を用いて、ChatGPTのベースとなっている大規模言語モデル(GPT-3と「GPT-3.5」)を訓練した。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
「iOS 17.2」開発者向けベータが公開–「ジャーナル」アプリ追加など
IT関連
2023-10-28 10:04
シスコとNEC、AIガバナンス分野で協業–企業のAI活用をリスクから保護
IT関連
2025-03-29 10:05
Twitter、1アカウントでの複数ペルソナ切り替えなど、3つの機能を検討中
アプリ・Web
2021-07-03 05:06
eコマースを最適化するTradeswellが16.1億円調達、データサービスを充実
ネットサービス
2021-01-15 00:03
勤怠管理システム「KING OF TIME」、人材管理システム「ヒトマワリ」とAPI連携
IT関連
2022-05-07 01:11
熱海市の土石流災害から見えた、テクノロジーと災害対策 VR空間で視察して分かったこと (1/3 ページ)
くわしく
2021-07-31 11:42
アップルの「Vision Pro」を普段の仕事で使ってみたら
IT関連
2024-02-20 07:29
インドの国営生命保険会社LICがIPOで約9200億円の資金調達を計画
IT関連
2022-02-15 11:20
「大江戸温泉物語」9月閉館 借地契約の期限で
くらテク
2021-06-24 16:08
写真で見る国産初稼働の超伝導量子コンピューター
IT関連
2023-03-29 10:15
AOSデータが政府系ファンドJIC VGIと共創ファンドより9億円の資金調達
ネットサービス
2021-07-07 15:56
決済基盤提供のAdyen、プラダ・グループとの提携強化–チャネル統合でCX向上図る
IT関連
2024-06-07 12:48
筑波大の授業DBがメンテ、困った新入生が代替ツールを“爆速開発” その背景を本人に聞いた (1/2 ページ)
くわしく
2021-04-14 08:31
すかいらーくグループ、品質管理部門の検査業務プロセスをデジタル化
IT関連
2024-03-15 00:35