ChatGPT (Chat Generative Pre-Trained Transformer) est un modèle de langage IA lancé en novembre 2022 par OpenAI. En seulement deux mois, ChatGPT a atteint plus de 100 millions d’utilisateurs actifs mensuellement, devenant le service internet à la croissance la plus rapide de tous les temps.

ChatGPT est basé sur la technologie Transformer (présentée dans l’article «Attention is all you need», 2017) et développé au-dessus du GPT-3 (Generative Pre-Trained Transformer 3), plus particulièrement le modèle «Davinci». C’est un modèle de pointe en traitement du langage naturel (NLP), conçu pour produire des réponses textuelles humaines à des questions et des messages.

ChatGPT peut être utilisé pour des tâches de traitement du langage naturel (NLP) telles que la génération de texte ou le résumé de texte. Il peut aussi être utilisé pour des applications spécifiques telles que la réponse aux questions, l’analyse des sentiments et la classification des textes.

ChatGPT s’appuie sur l’entraînement avec de vastes données textuelles (175 milliards de paramètres recueillis sur Internet et d’autres sources) pour apprendre les modèles linguistiques et générer des réponses semblables à l’humain en fonction d’une entrée (input). Il se distingue de GPT-3 par l’apprentissage par renforcement à partir du feedback humain (RLHF), en utilisant le principe de «mémorisation» pour diverses réponses en fonction des informations stockées.

Il est essentiel de noter que le modèle ne comprend pas le sens du texte comme le ferait un être humain. Il s’appuie plutôt sur des associations statistiques entre les mots et les phrases pour générer le texte. Par exemple, considérons la phrase suivante: «L’Empire romain [MASQUE] avec le règne d’Auguste». Un modèle probabiliste serait en mesure d’anticiper soit «a commencé» ou «a fini» pour [MASQUE], car ces deux termes affichent une probabilité d’apparition considérable. Par conséquent, prédire le terme qui suit dans une séquence de texte ne nécessite pas nécessairement l’acquisition d’une compréhension plus complexe de sa signification.

La valeur de ChatGPT réside dans sa capacité à générer un texte semblable à celui d’un humain en fonction des données saisies par l’utilisateur (input), ce qui le rend très utile pour une variété d’applications et de cas d’utilisation:

• Génération de contenu et de synthèses: Production de textes créatifs personnalisés (publicités, SEO, courriels, slogan, etc.), Élaboration de résumés (livre, actualité, papier académique, etc.)
• Développement de logiciels: Approche «text-to-code» et «code-to-text».
• Chatbot: Construction de systèmes d’IA conversationnelle pour les services clients, les équipes de vente, ou les assistants personnels.

L’ingénierie de prompts (Prompt Engineering) offre une valeur significative au public et les professionnels en rendant l’interaction avec les modèles de langage plus intuitive et personnalisée. Elle permet aux utilisateurs de guider plus efficacement les résultats souhaités, améliorant ainsi la pertinence des réponses. Parmi les approches exploitées, certaines techniques de modélisation du langage font appel au «zero-shot learning» et au «few-shot learning». D’autres techniques de prompts incluent les modèles «Persona pattern», «Cognitive Verifier pattern», «Flipped Interaction pattern», «Recipe pattern», et bien d’autres encore, et permettent d’interagir avec la machine de manière spécifique et contrôlée.

ChatGPT et d’autres modèles linguistiques avancés (LLMs) ont prouvé avoir un impact significatif sur l’éducation, fournissant de nouvelles perspectives d’apprentissage innovantes. Parmi ces avancées, on compte la génération de contenu pédagogique personnalisé, les tutorats conversationnels, ou encore les scénarios interactifs (simulations) qui aident les élèves à visualiser et à expérimenter des concepts abstraits de manière plus concrète. Mais il y a aussi des impacts potentiellement négatifs à prendre en compte:

• Dépendance excessive à l’égard de la technologie: Réduction potentielle de la pensée critique et de la créativité.
• Biais et équité: Les données d’entraînement utilisées pour développer des modèles IA (comme ChatGPT) peuvent contenir des biais, impactant négativement l’éducation en perpétuant, et même renforçant, dans certains cas, des stéréotypes et des inexactitudes.
• Erreurs de vérification des faits: Erreurs fondamentales, inexactitudes, ou hallucinations.

Certains affirment que «The College Essay is Dead», ce qui illustre l’impact de ChatGPT sur l’éducation et la raison pour laquelle il ne peut être ignoré.

GPTZero (conçu par Edward Tian à l’université de Princeton) est un outil conçu pour détecter les textes générés par l’IA, en utilisant des algorithmes d’apprentissage automatique pour distinguer les écrits humains des textes produits par des modèles de langage comme ChatGPT. Il évalue la qualité des prédictions en se basant sur la perplexité, une mesure de la probabilité de séquences de mots, et peut identifier les parties spécifiques rédigées par des humains ou des machines.

OpenAI a également lancé un classificateur similaire formé pour identifier le plagiat de ses modèles. Cependant, depuis le 20 juillet 2023, «le classificateur n’est plus disponible en raison de son faible taux de précision». OpenAI semble donc ne pas actuellement réussir à identifier le texte généré par sa propre IA, ce qui peut soulever des interrogations légitimes chez le public quant à la possibilité de réellement détecter les textes produits par des IA en 2023. Cela s’applique également aux institutions académiques qui cherchent à lutter contre le plagiat, en particulier avec l’aide d’outils externes.