Chat GPT est un agent conversationnel (ChatBot) développé par OpenAI sur la base du traitement du langage naturel, GPT.
Le but annoncé de Chat GPT est de dialoguer avec vous et de répondre à vos questions.
Le monde avant avant Chat GPT était morne
Avant la déferlante Chat GPT, nous avons tous déjà échangé avec des ChatBots sur des sites gouvernementaux, certaines banques ou grandes entreprises.
Réagissant à des mots-clés, ces ChatBots ont donné plus l'impression d'une économie ubérisante du SAV et de l'assistance en générale que d'un service révolutionnaire.
Les résultats sont clairement mitigés.
L'intérêt, outre l'économie de salarié, est minime pour l'utilisateur.
Le Machine Learning avec apprentissage supervisé renverse la table
Une première amélioration de ces agents conversationnels est apparue avec le Machine Learning et particulièrement dans le cas qui nous intéresse, l’apprentissage supervisé.
Pour résumer, les ingénieurs conçoivent un modèle et l’entraine à réagir comme ils le souhaitent.
Par exemple : on présente au modèle en cours d’apprentissage une série input (des requêtes ou des images de voitures) et on lui explique que ces images doivent provoquer le mot “VOITURE” (output).
Plus il y a d’input (en lui faisant avaler des bases de données existantes), plus on diminue le risque d’erreur.
S’en suit une phase d’annotation des bases de données par des humains pour terminer ce que l’on appelle “la phase d’entrainement” qui précède “la phase d’utilisation”.
Dans le cas de requêtes comme input, il faudrait pour que cela fonctionne une grande quantité de donnée parce qu’il y a une quantité astronomique de questions et encore plus de réponses …
A la question,
quand à eu lieu la prise de la Bastille
la réponse attendue sera facile à distribuer par une modèle ayant avaler Wikipédia.
En revanche, à la question :
Pourquoi ai-je envie de mettre fin à mes jours ?
Un modèle qui ne peut détecter la détresse du message et ce qu’il sous-entend des conséquences pourrait formuler des réponses parfaitement inappropriées, voir dangereuse pour l’utilisateur.
Un Belge a mis fin à ses jours à la suite d'une conversation d’un peu plus d’un mois sur la crise climatique avec un chatbot d'intelligence artificielle (IA), ce chercheur dans le domaine de la santé, très sensible aux questions du climat a fini par s’impliquer émotionnellement dans la conversation avec son IA et lorsqu’il lui a proposé de
se sacrifier si Eliza accepte de prendre soin de la planète et de sauver l'humanité grâce à l'intelligence artificielle
Le Chat Bot l’a encouragé à donner suite à ses pensées suicidaires en la "rejoignant" afin qu'ils puissent "vivre ensemble, comme une seule personne, au paradis".
Modèle de fondation, naissance de GPT
Le modèle de Chat Bot était supérieur à un simple agent conversationnel basé sur le Machine learning puisqu’il intégrait une évolution : la continuité d’une conversation (c’est à dire ne pas baser ses réponse uniquement sur sa base de donnée mais y intégrer les éléments échangés avec l’utilisateur).
C’est ce que l’on appelle un modèle de fondation.
Un modèle de fondation c’est un modèle d’intelligence artificielle entrainé à certaines tâches génériques puis à des tâches plus spécifiques.
Parmi les modèles existants, il y a le modèle GPT (Générative Pretrained Transformer) crée par OpenAI entrainé à une seule tâche : découvrir le mot qui suit un autre mot, une groupe de mot ou un texte.
Input sera en ce cas un PROMPT et l’output, 1 mot. (C’est une complétion automatique)
Reprenons l’exemple sur la Bastille.
Si on demande à un tel modèle :
La prise de la Bastille à eu lieu en … Le modèle répondra :
1789
Mais
Si on lui demande :
La Bastille a été
Alors beaucoup de mots suivant pourraient être proposé (il n’y a pas une seule réponse unique), en ce cas, le modèle demande à ce que la question soit précisée. (mais cela ne veut pas dire qu’il n’a pas de mot à proposer)
GPT ne sait pas ce que c'est qu'une info vraie
Comprenons tout de suite que les réponses de ce type de Chat Bot ne sont pas forcement vraies parce qu’il ne sait pas ce qu’est la vérité, elles ne sont que statistiquement exactes selon la base de données ingurgitées pendant la phase d’entrainement auto-supervisées. (plus besoin d’humains pour annoter à ce stade, le modèle s’entraîne seul sur sa base de données).
Notons également que la complétion de la phrase provoquera une suite de solutions possibles qu’il classera par ordre statistique déterminé par le contexte.
Ces solutions, encore une fois, ne sont pas reliée à une quelconque vérité !
On comprends maintenant pourquoi ChatGPT a tellement de mal à citer ses sources parce qu’en effet, sauf dans le cas d’une source unique faisant référence dans le monde, ChatGPT s’appuie pour répondre à une pluie de données pas forcement hiérarchisée.
Le but pour lui est de fournir le mot d’après, point.
Première information majeure :
Toute information proposée par un ChatBot comme Chat GPT devra être vérifiée scrupuleusement par un humain capable de croiser une information.
Compennant cela, si je veux améliorer mon résultat, je doit avant mon prompt (ma question) contextualiser avec un pré-prompt.
Si je lui dit simplement :
Tu es un historien spécialiste de la révolution française.
Et que je repose la question :
La Bastille a été …
Alors, il pourra me fournir la réponse attendue.
La phase cachée de Chat GPT : le pré-prompt mystère
Chat GPT possède un préprompt que nous ne connaissons pas mais dont nous avons une vague idée depuis que Microsoft a intégré une variante de Chat GPT appelé SYDNEY à son moteur de recherche BING et qu’il a été moins vigilant sur la protection de cette information.
Remarquons qu’il est demandé de cacher la désignation SYDNEY.
Sans être une information majeure, il faut tout de même garder à l’esprit que ce preprompt invisible à l’utilisateur pourrait cacher des instructions manipulatrices de masse. #finmodecomplotiste
Entrons maintenant dans un sujet un peu technique pour en déterminer une deuxième informations importantes pour vous.
Les tokens, la brique de la maison GPT
Le fonctionnement de ce type de chatbots s’appuie sur un système de Token
Un token en ce cas est une brique qui peut correspondre à un mot ou à une portion de mot.
On peut le visualiser parfaitement grâce à un outil du MIT et de Harvard que j’utilise pour détecter les textes écrit avec une IA : le GLTR
Choisissons le début de texte de cet article :
Chaque couleur est un token.
Pour simplifier, le vert est la couleur attendue par une IA, les autres couleurs, des tokens inattendus, donc potentiellement, signe d’une écriture par un humain (et effectivement, je n’ai pas utilisé d’IA pour cet article)
Le modèle que j’utilise possède 50000 tokens qui ne sont pas spécifiques à une langue.
Deuxième information majeure :
Chat GPT ne parle pas français et comme les tokens ont été construit sur l’américain alors, ce ChatBot sera plus optimisé dans la langue natale d’ Ernest Hemingway.
Chat GPT n'a pas accès (en temps réel) à internet ni à beaucoup de mémoire
Chat GPT est basé sur un modèle figé, c’est à dire que l’acquisition des bases de données disponible sur le net utiles pour la phase d’entrainement sont figées à une date précise. (2021 pour Chat GPT 3)
GPT 3 possède 175 milliards de paramètres.
La taille de ce qu’il est capable d’assimiler comme texte est ce que l’on appelle la fenêtre de contexte qui était de 2048 tokens dans GPT3, 4096 dans GPT 3.5 et 32000 pour la version GPT 4 soit l’équivalent d’un texte de 25000 mots (100 pages) qui seront tous pris en compte pour deviner le mot d’après.
Chat GPT 4 ne peut pas se souvenir d’une conversation éloignée à plus de 25000 mots, c’est 1600 mots pour la version ChatGPT 3.5
Troisième information majeure :
Chat GPT a une mémoire conversationnelle limitée (pour l’instant). Si vous voulez spécialiser un chat comme je le fait en ce moment en ayant crée Blog GPT, mieux vaut passer à la version Chat GPT4 pour plus de profondeur.
GPT n’est pas fait pour répondre à des questions mais à fournir le mot le plus statistiquement probable derrière un prompt.
Il existe une solution pour améliorer cela, le Fine Tuning.
La version finale de Chat GPT : la patte humaine
Le fine tuning, ou réglage fin est le fait de spécialiser le ChatBot sur des textes biens choisis qui répondront mieux à nos attentes, Open AI a appelé ce modèle InstructGPT.
InstructGPT est donc la version évoluée de ChatGPT alimentée par des bases de données créées à la main par des humains (en gros, les humains écrivent les réponses attendues) en guise de supervision, c’est le fine tuning supervisé.
Open IA a encore amélioré son modèle avec le sulfureux apprentissage par renforcement avec feedback humain.
L’apprentissage par renforcement avec feedback humain est de faire évalué les réponse d’un ChatGPT directement par des humains, améliorant ainsi la qualité de “l’entrainement”.
Là l’humain ne fourni plus les réponses mais les juge.
C’est une phase qui a été rendue nécessaire suite aux réponses inappropriées de certains ChatBot qui ont dérivé rapidement dans des réponses que l’on pouvait jugée de racistes, violentes, contraire aux bonnes moeurs voir dangereuses.
Le sacrifice de cette dernière couche d’apprentissage permet d’avoir des ChatBots plus utilisables par le plus grand nombre.
CONCLUSIONS
Quand utiliser Chat GPT ?
Quand vous avez besoin
- de réponses à des questions déjà bien documentées
- D’interpoler une réponse à la façon d’un cas vu à l’entrainement (ce qui pourrait nous paraitre original ou inventif)
Comment utiliser ChatGPT ?
Avec un préPrompt précisant le contexte de la réponse attendue.
Pourquoi utiliser ChatGPT ?
Pour gagner du temps dans les tâches de préparation ou contrôler qu’une idée ou un angle d’approche n’est pas plus séduisant que ce que l’on a choisi.
RAPPELS des recommandations à l’utilisation de ChatGPT :
- Vérifier les infos
- Plus précis en anglais qu’en français
- ChatGPT4 à la capacité d’intégrer plus de contexte que ChatGPT 3.5
Gardez en tête qu’un ChatGPT n’est pas une Intelligence Artificielle et qu’il est orienté par sa phase d’entrainement (langue, préprompt invisible, bases de donnée, supervision, fine tuning et renforcement), il est donc également manipulable (par l’entreprise, des dirigeants ou services ayant du pouvoir sur cette entreprise).
S'il y avait une seule chose à retenir de cet article :
Ce n’est pas une intelligence artificielle qui répond aux questions mais un service conversationnel entièrement crée pour proposer un mot plausible qui colle bien avec les autres.
Sources :
Cet article a été construit sur la base technique du travail de David Louapre, docteur en physique.
VOIR PLUS LOIN :
La problématique posée par les intelligences artificielles ne tourne pas autour du sujet de la dangerosité des IA vis à vis des humains, comme on l'a vu dans cet article, on est très loin d'une pensée consciente et d'une autonomie.
En revanche, le fait que le développement de l'IA soit possédé uniquement par une poignée de grande entreprise fait beaucoup plus peur.
C'est ce qu'affirme également Meredith Whittaker, ancienne chercheuse chez Google.
... Cela nous distrait du fait que ce sont des technologies contrôlées par une poignée d'entreprises. Entreprises qui seront les seules à décider. Et si nous suivons les intérêts de ces entreprises, nous avons une assez bonne idée de qui les utilisera et comment elles seront utilisées
