GitHubは10月10日、「GitHub Copilot Chat」を使った開発生産性に関する調査結果を発表した。
GitHub Copilotは、OpenAIの生成AI「GPT」ベースのプログラミング支援ツールで、GitHub Copilot Chatはそのチャット・インターフェース。GitHub Copilot Chatを使うと、プログラマーは利用中のIDE上でコーディングに関する質問を行うことができ、リアルタイムでガイダンス、ヒント、トラブルシューティング、修正、特定のコーディング課題に合わせた解決策を得ることができる。
レポートによると、「GitHub Copilot Chatを有効にした場合、作成およびレビューされるコードの品質が全体的に向上した」として、以下のような調査結果が得られたという。
・85％の開発者が、GitHub Copilot Chatを使ってコードを作成したほうが、コードの品質に自信が持てるようになったと感じている。
・GitHub Copilot Chatを使用すると、コードレビューがより実用的になり、完了が15％早くなった。
・88％の開発者が、GitHub Copilot Chatを使うことによってフロー状態を維持でき、集中力が増し、フラストレーションが減り、コーディングがより楽しくなったと報告している。
また、GitHub Copilot Chatを利用したほうが、利用しない場合よりもコーディングが簡単で、ミスがなく、読みやすく、再利用可能で、簡潔で、保守性が高く、弾力性があるため、自信が持てるようになった、と開発者は語っているという。次図がそれを示した調査結果である。
コードの書きやすさ（使いやすさ）、エラーの有無、読みやすさ、コードの再利用性、簡潔さ、メンテナンス性、弾力性、実行可能性については、次図のような結果となった。
調査は、5～10年のソフトウェア開発経験をもつエンジニア36人を対象に実施され、GitHub Copilot Chatを使用した場合と使用しない場合の両方についてコードのオーサリングとレビューを行った。
参加者は、オブジェクトの作成、読み取り、削除を行うHTTPサービスのAPIエンドポイントを作成するよう求められ、APIエンドポイントの作成に関するプルリクエストを1つ、読み取りと削除に関するプルリクエストをもう1つ作成し、その結果を評価した。
・調査レポート「Research: Quantifying GitHub Copilot’s impact on code quality」
https://github.blog/2023-10-10-research-quantifying-github-copilots-impact-on-code-quality/
［i Magazine・IS magazine］
