Les défis rencontrés par Devin, l’ingénieur AI de Cognition
Des chercheurs ont récemment mis en lumière les performances décevantes de Devin, présenté par la société Cognition comme le premier logiciel d’ingénierie AI au monde. Malgré le battage médiatique qui a entouré son lancement, il s’avère que Devin excelle plutôt dans l’échec.
Une étude révélatrice
Dans une analyse récente menée par une équipe de spécialistes en apprentissage automatique de l’Institut de recherche indépendant Answer.AI, Devin a été soumis à un test rigoureux. Pendant un mois, les chercheurs ont tenté de lui faire réaliser diverses tâches. Le bilan est accablant : sur 20 tentatives, 14 se sont soldées par des échecs, tandis que seules trois ont porté leurs fruits, affichant ainsi un taux de succès de 15 %.
Des promesses démesurées
Ce qui est particulièrement préoccupant, selon l’équipe, c’est l’incapacité à anticiper les tâches que Devin réussissait. Même les missions qui avaient bien fonctionné au départ se sont révélées problématiques dans des contextes plus complexes. La capacité autonome qui semblait initialement prometteuse s’est transformée en un handicap majeur : Devin s’évertuait à chercher des solutions impossibles au lieu d’identifier les véritables obstacles.
Erreurs concrètes
Un exemple frappant : lorsqu’on a demandé à Devin de déployer plusieurs applications sur la plateforme Railway, il a tenté de le faire même quand la situation était manifestement impossible. Au lieu de s’en rendre compte, il a continué à avancer, inventant des méthodes d’interaction avec Railway.
Le décalage entre la réalité et les attentes
Les résultats montrent que malgré l’annonce tonitruante de Cognition AI selon laquelle Devin pourrait “créer et déployer des applications de A à Z”, la technologie peine encore à surmonter des problèmes fondamentaux. Se poser la question de la fiabilité de telles innovations est tout à fait légitime, surtout quand on considère l’annonce récente de Mark Zuckerberg, selon laquelle il prévoirait de remplacer certains employés par de l’AI dès cette année.
Une mise sur le marché restreinte
Initialement, Devin a été accessible à un groupe restreint d’utilisateurs, mais a récemment connu un élargissement de sa distribution à un tarif élevé de 500 dollars par mois pour les équipes techniques. Les premières démonstrations avaient pourtant suscité de l’enthousiasme, en promettant que Devin pourrait gagner de l’argent en accomplissant des tâches sur des plateformes comme Upwork.
Des critiques virulentes
Cependant, plusieurs développeurs ont rapidement suscité des critiques concernant la fidélité des démonstrations de Cognition. Ils ont accusé la société de manipuler la vérité, soulignant que tout cela donnait l’impression que Devin effectuait un volume de travail considérable, alors que la réalité était différente. Un ingénieur a même noté que les tâches qui semblaient simples prenaient bien plus de temps que prévu, souvent plusieurs jours, au lieu de quelques heures.
Conclusion
En résumé, Devin illustre le écart souvent inquiétant entre les promesses des entreprises spécialisées en AI et la réalité observable, un problème qui perdure dans le secteur depuis des années. Il reste à déterminer si un assistant AI pourra un jour remplacer avec compétence un ingénieur logiciel, au risque de causer des tracas à ses collègues humains.
FAQ
Devin peut-il apprendre de ses erreurs ?
Oui, avec des mises à jour et un meilleur entraînement sur des cas pratiques, Devin peut potentiellement s’améliorer dans le traitement de tâches spécifiques.
Quelles autres entreprises développent des IA similaires ?
D’autres sociétés, comme OpenAI et Google, travaillent également sur des assistants AI capables d’exécuter des tâches de programmation et de développement logiciel.
Quelle est la réaction de la communauté des développeurs face à l’IA ?
La communauté reste divisée : certains sont optimistes quant aux avancées de l’AI, tandis que d’autres craignent que cela ne remplace leurs emplois.
Est-ce que l’AI peut vraiment remplacer des développeurs ?
La question reste ouverte, car la technologie doit surmonter encore plusieurs obstacles avant de pouvoir égaler la créativité et le jugement humain.
Quelles sont les prochaines étapes pour Devin ?
Les développeurs de Cognition envisagent de peaufiner Devin avec des mises à jour régulières pour améliorer ses performances et son efficacité.
