Couper les coins ronds : Une nouvelle étude a révélé que les assistants de codage alimentés par l’IA pourraient en fait nuire à la productivité des développeurs de logiciels chevronnés, au lieu de l’accélérer, ce qui est la principale raison pour laquelle les développeurs utilisent ces outils.
La recherche, menée par l’organisation à but non lucratif Model Evaluation & ; Threat Research (METR), visait à mesurer l’impact réel des outils d’IA avancés sur le développement de logiciels. Pendant plusieurs mois, au début de l’année 2025, METR a observé 16 développeurs expérimentés de logiciels libres qui s’attaquaient à 246 tâches de programmation réelles – allant de la correction de bogues à la mise en œuvre de nouvelles fonctionnalités – sur de vastes dépôts de code qu’ils connaissaient bien. Chaque tâche était assignée au hasard pour permettre ou interdire l’utilisation d’outils de codage IA, la plupart des participants optant pour Cursor Pro associé à Claude 3.5 ou 3.7 Sonnet lorsqu’ils étaient autorisés à utiliser l’IA.
Avant de commencer, les développeurs ont prédit avec confiance que l’IA les rendrait 24 % plus rapides. Même après la fin de l’étude, ils pensaient encore que leur productivité s’était améliorée de 20 % grâce à l’IA. La réalité, cependant, était radicalement différente. Les données ont montré que les développeurs mettaient en fait 19 % de temps en plus pour terminer leurs tâches lorsqu’ils utilisaient des outils d’IA, un résultat qui allait à l’encontre non seulement de leurs perceptions, mais aussi des prévisions des experts en économie et en apprentissage automatique.
Les chercheurs se sont penchés sur les raisons possibles de ce ralentissement inattendu et ont identifié plusieurs facteurs contributifs. Tout d’abord, l’optimisme des développeurs quant à l’utilité des outils d’IA a souvent dépassé les capacités réelles de la technologie. De nombreux participants connaissaient très bien leurs bases de code, ce qui laissait peu de place à l’IA pour offrir des raccourcis significatifs. La complexité et la taille des projets – souvent plus d’un million de lignes de code – ont également constitué un défi pour l’IA, qui a tendance à être plus performante sur des problèmes plus petits et plus circonscrits. En outre, la fiabilité des suggestions de l’IA n’était pas constante ; les développeurs ont accepté moins de 44 % du code généré par l’IA, passant beaucoup de temps à examiner et à corriger ces résultats. Enfin, les outils d’IA ont eu du mal à saisir le contexte implicite des grands référentiels, ce qui a donné lieu à des malentendus et à des suggestions non pertinentes.
La méthodologie de l’étude était rigoureuse. Chaque développeur a estimé le temps que prendrait une tâche avec et sans IA, puis a résolu les problèmes tout en enregistrant ses écrans et en déclarant lui-même le temps passé. Les participants ont été rémunérés 150 dollars de l’heure pour garantir leur engagement professionnel dans le processus. Les résultats sont restés cohérents entre les différentes mesures de résultats et analyses, sans qu’aucun artefact expérimental ou biais n’ait influencé les conclusions.
Les chercheurs précisent que ces résultats ne doivent pas être généralisés à l’excès. L’étude s’est concentrée sur des développeurs hautement qualifiés travaillant sur des bases de code familières et complexes. Les outils d’IA peuvent encore offrir de plus grands avantages aux programmeurs moins expérimentés ou à ceux qui travaillent sur des projets peu familiers ou plus petits. Les auteurs reconnaissent également que la technologie de l’IA évolue rapidement et que les itérations futures pourraient donner des résultats différents.
Malgré le ralentissement, de nombreux participants et chercheurs continuent d’utiliser les outils de codage de l’IA. Ils notent que, même si l’IA n’accélère pas toujours le processus, elle peut rendre certains aspects du développement moins éprouvants mentalement, transformant le codage en une tâche plus itérative et moins intimidante.