Intelligence Artificielle

Les Limites d’une Application de Détection de Textes Écrits par GPT : Précision Inadéquate.

Les Limites d'une Application de Détection de Textes Écrits par GPT : Précision Inadéquate.

Focus sur GPTZero et son créateur

Edward Tian, étudiant en informatique à l’Université de Princeton, a récemment fait l’objet d’une attention médiatique importante grâce à son application, GPTZero. Divers médias tels que CBS, NPR, et NBC ont couvert son œuvre, qui vise à détecter si un texte a été rédigé par le générateur de texte ChatGPT d’OpenAI.

L’objectif de l’application

Selon Tian, son application sert à détecter rapidement si un essai a été rédigé par une machine ou par un humain, afin de contrer une montée de la plagiat alimenté par l’IA. Avec humour, il a tweeté que les enseignants du secondaire ne seraient probablement pas ravis que leurs élèves utilisent ChatGPT pour rédiger leurs devoirs.

Les défis pour l’éducation

Les outils comme ChatGPT représentent un défi majeur pour les enseignants, qui craignent que leurs élèves n’utilisent ces technologies pour produire des travaux académiques. La réaction des médias s’est rapidement concentrée sur cette peur.

Une couverture médiatique flamboyante

L’écho médiatique a vu des titres suggérant que les enseignants disposaient désormais d’un nouvel outil pour se protéger contre la tricherie. Cependant, les résultats des tests menés sur GPTZero montrent que son efficacité n’est pas infaillible.

Analyse des performances de GPTZero

Des tests ont été réalisés avec un corpus de seize textes, dont huit provenant des archives de l’équipe et huit générés par ChatGPT. Les résultats ont mis en lumière une certaine précision : l’application a réussi à identifier les textes de ChatGPT dans sept cas sur huit et les écrits humains dans six cas sur huit.

Malgré ces résultats, il est essentiel de noter que près de 20 % des cas comportent un risque de fausse accusation d’inconduite académique, ce qui demeure préoccupant dans un contexte éducatif où le plagiat peut entraîner des conséquences graves.

Prise de conscience de l’imprécision

Tian lui-même, qui n’a pas répondu aux questions pour cet article, semble plus conscient des limites de son application par rapport à certains journalistes. Il a déclaré travailler à améliorer la précision de son outil.

Les fondements techniques de l’application

GPTZero évalue un texte en analysant sa “perplexité” et son “burstiness”. La perplexité mesure à quel point un texte est aléatoire pour un modèle, tandis que le burstiness observe comment cette perplexité varie au fil du temps. En général, les textes écrits par des machines tendent à être plus constant, là où les écrits humains montrent des fluctuations.

Inquiétudes persistantes

Bien que les résultats de GPTZero soient encourageants, les craintes liées à l’impact de ChatGPT dans le domaine éducatif ne sont pas dénuées de fondement. Dan Gillmor, professeur de journalisme à l’Université d’État de l’Arizona, évoque la possibilité que des essais rédigés par des IA soient suffisamment convaincants pour recevoir des notes élevées.

Perspectives d’avenir

Alors que la technologie évolue, il semble probable que nous assistions à une course continue entre les outils de détection et les générateurs de contenu comme ChatGPT. Un outil infaillible capable de identifier avec succès tous les textes générés par une IA pourrait se révéler difficile à atteindre, compte tenu de l’évolution rapide de ces technologies.

Les éducateurs s’inquiètent de l’intégration croissante de ces outils dans les salles de classe. Récemment, l’utilisation de ChatGPT a été interdite dans les écoles de New York, une décision qui pourrait avoir des répercussions ailleurs.

Réponses aux scepticismes

Toutefois, tous ne partagent pas cette inquiétude concernant la disparition des essais universitaires. Certains enseignants, comme Stuart Selber de l’université de Pennsylvanie, notent que les menaces pour l’éducation sont nombreuses et qu’aucune d’elles ne s’est encore concrétisée.

FAQ

Qu’est-ce que GPTZero ?

GPTZero est une application créée par Edward Tian qui permet de déterminer si un texte a été écrit par un humain ou généré par l’IA, tel que ChatGPT.

Pourquoi ces outils de détection sont-ils nécessaires ?

Avec la montée de l’IA, de nombreux étudiants pourraient utiliser ces technologies pour tricher via des travaux académiques, ce qui soulève des préoccupations sur l’intégrité académique.

Qu’est-ce que la perplexité dans le contexte de GPTZero ?

La perplexité mesure la complexité et l’imprévisibilité d’un texte pour un modèle, ce qui permet d’identifier si un humain ou une machine l’a rédigé.

Quelles sont les conséquences pour les étudiants en cas de plagiat détecté ?

Les allégations de plagiat peuvent entraîner des sanctions sévères, y compris des notes échouées ou même des expulsions dans certaines institutions.

Comment les écoles réagissent-elles face à l’IA en classe ?

Certaines écoles, comme celles de New York, ont déjà interdit l’utilisation de ChatGPT, un mouvement qui pourrait inspirer d’autres établissements à faire de même.

Quitter la version mobile