Les limites de l’IA générative
Les partisans de l’IA générative soutiennent souvent que cette technologie pourrait améliorer la productivité des travailleurs humains, particulièrement dans le domaine de la programmation informatique. Cependant, ces affirmations méritent d’être examinées de près.
Étude sur l’utilisation de Copilot
Une étude récente, menée par Uplevel, une entreprise spécialisée dans les logiciels de gestion de code, met en lumière des aspects préoccupants de cette technologie. D’après ce rapport, initialement découvert par le magazine CIO, les ingénieurs qui utilisent Copilot, l’assistant de programmation assisté par IA de GitHub, ne constatent aucune amélioration significative de leur efficacité.
Au contraire, les données révèlent que l’utilisation de Copilot résulte en une augmentation de 41 % des erreurs non intentionnelles dans le code. Cela démontre que l’intégration de cette technologie ne garantit pas forcément des gains de productivité.
Méthodologie de l’étude
Dans cette étude, Uplevel a suivi les performances de 800 développeurs pendant trois mois avant qu’ils n’aient accès à Copilot. Après cette période, un suivi similaire a été réalisé pendant trois mois, durant lesquels les développeurs ont travaillé avec cet outil. Les chercheurs ont notamment mesuré le temps nécessaire pour fusionner du code dans un dépôt, ce qui est connu sous le nom de pull request, ainsi que le nombre de demandes traitées.
Les résultats sont édifiants : Copilot n’a ni aidé ni nui aux développeurs pendant cette période, et il n’a pas non plus amélioré leur rapidité de codage. Matt Hoffman, responsable produit et analyste de données chez Uplevel, exprimait les espoirs de l’équipe, qui pensait que l’utilisation de cet outil pourrait réduire le temps de cycle des pull requests et entraîner une diminution des défauts dans le code en facilitant les révisions.
Les défis de l’IA générative
Il est essentiel de comprendre que GitHub Copilot repose sur de grands modèles linguistiques (LLM), qui ont tendance à générer des informations erronées et à produire des données incorrectes. Un autre rapport récemment publié par des chercheurs de l’Université du Texas à San Antonio a révélé que ces modèles peuvent fabriquer un grand nombre de “paquets d’hallucination”, en créant des références à des fichiers ou du code qui n’existent pas réellement.
Les leaders du secteur commencent à s’inquiéter de la possibilité que l’utilisation de code généré par l’IA puisse en réalité augmenter la charge de travail. Ivan Gekht, PDG de Gehtsoft, a souligné que comprendre et déboguer le code produit par l’IA devient de plus en plus complexe et que les ressources nécessaires pour résoudre ces problèmes rendent parfois plus facile la réécriture du code qu’une simple correction.
FAQ
Qu’est-ce que GitHub Copilot ?
GitHub Copilot est un outil d’assistance à la programmation basé sur l’intelligence artificielle, qui fournit des suggestions de code pour aider les développeurs dans leur travail.
Comment évaluer l’efficacité de l’IA dans le codage ?
Pour évaluer l’efficacité des outils d’IA, il est important de mesurer le temps de fusion de code, le nombre d’erreurs générées et la productivité des développeurs avant et après leur utilisation.
Quels risques sont associés à l’utilisation de modèles IA ?
Les risques incluent la génération de code erroné, la création de références inexistantes et des défis de compréhension et de débogage du code, ce qui peut entraîner une augmentation du temps de travail.
L’IA peut-elle vraiment améliorer la productivité ?
Les résultats variés issus de différentes études sugèrent que l’IA peut ne pas toujours avoir l’impact escompté sur la productivité, notamment en raison d’erreurs créées involontairement.
Comment les entreprises peuvent-elles tirer profit de l’IA sans se heurter à ses limites ?
Les entreprises doivent adopter une approche prudente et combiner l’utilisation de l’IA avec une supervision humaine pour s’assurer que le code généré est pertinent et correct.
