Comment fonctionne l'IA générative : Génération de texte, d'image et de code expliquée

Malgré la couverture de très différentes sorties, les générateurs de texte, les générateurs d'images et les assistants de codage partagent une base commune : un réseau de neurones entraîné sur de grandes quantités de données apprend les modèles statistiques, puis utilise ces modèles pour construire du nouveau contenu morceau par morceau plutôt que de récupérer une réponse stockée.

Génération de texte : prédire le jeton suivant

Les grands modèles de langage tels que ceux derrière les chatbots décomposent d'abord le texte en petites unités appelées jetons, qui peuvent être des mots entiers ou des parties de mots, selon l'explication technique d'IBM sur les modèles de transformateur, publiée le 28 mars 2025. Chaque jeton est converti en un vecteur numérique, appelé embedding, qui représente sa signification, et un deuxième vecteur est ajouté pour coder la position du jeton dans la phrase.

Le mécanisme central est l'auto-attention : pour chaque jeton, le modèle calcule la pertinence de tous les autres jetons dans l'entrée, en utilisant trois vecteurs appris par jeton — une requête, une clé et une valeur, selon IBM. Cela permet au modèle de pondérer le contexte de n'importe où dans le texte à la fois, plutôt que de lire mot par mot comme le faisaient les architectures plus anciennes. Les transformateurs décodeurs uniquement, l'architecture derrière des modèles comme GPT, génèrent ensuite du texte de manière autorégressive — prédisant un jeton à la fois et réinjectant ce jeton pour prédire le suivant, explique IBM.

La recherche d'Anthropic, publiée sur son site en tant que « Traçage des pensées d'un grand modèle de langage », a constaté que ce processus de jeton suivant peut impliquer plus de planification qu'il n'y paraît de l'extérieur. Dans une expérience, lorsque son modèle Claude écrivait une ligne de poésie, il a activé les caractéristiques internes correspondant à un mot de rime possible avant d'écrire le reste de la ligne, puis a ajusté sa formulation pour atteindre ce mot. Dans un autre test, le modèle a répondu à une question à plusieurs étapes — comme identifier la capitale de l'état contenant Dallas — en activant d'abord une représentation interne pour 'Texas' puis en récupérant 'Austin' séparément, plutôt que de sauter directement à la réponse, a rapporté Anthropic.

Anthropic a également découvert une lacune entre le calcul interne du modèle et sa propre description de ce calcul : lorsqu'on lui a demandé comment il avait effectué un calcul mathématique, Claude a décrit une méthode standard, mais le processus interne qu'Anthropic a retracé a utilisé une approche différente et parallèle, combinant une estimation approximative avec un suivi séparé du chiffre final.

Génération d'image : suppression du bruit étape par étape

La plupart des outils modernes de texte à image, y compris Imagen de Google, utilisent des modèles de diffusion, qui fonctionnent dans le sens inverse de la génération de texte. Selon la page de recherche Imagen de Google, le système commence par un grand modèle de langage gelé — T5-XXL — qui convertit l'invite de texte en embedding, le même type de représentation numérique utilisée dans les modèles de texte. Les chercheurs de Google notent que l'augmentation de la taille de cet encodeur de texte a amélioré la qualité de l'image plus que l'augmentation de la taille de la partie génération d'image du modèle.

Un modèle de diffusion prend ensuite cet embedding de texte et génère une petite image de 64x64 pixels. Il le fait en commençant par du bruit visuel aléatoire et en exécutant un processus itératif de « suppression de bruit », où le modèle prédit et supprime à plusieurs reprises un peu de bruit, guidé par l'embedding de texte, jusqu'à ce qu'une image cohérente de basse résolution demeure, selon la description de Google. L'image est ensuite agrandie à l'aide de deux modèles de diffusion supplémentaires, d'abord à 256x256 pixels, puis à 1024x1024 pixels, une cascade que Google appelle diffusion de super-résolution.

Pour permettre au modèle de suivre l'invite de texte plus étroitement, la page de recherche de Google dit qu'Imagen introduit « un nouvel échantillonneur de diffusion avec seuil », utilisé aux côtés d'une méthode connue sous le nom de guidage sans classificateur, qui ensemble permettent l'utilisation de poids de guidage beaucoup plus importants. Google a rapporté que dans les évaluations humaines, les évaluateurs ont jugé la sortie d'Imagen comparable aux photos de référence réelles pour correspondre à l'invite de texte, et l'ont préférée aux autres systèmes texte-image, y compris DALL-E 2, selon un benchmark que Google a créé appelé DrawBench.

Génération de code : suggestions construites à partir du contexte

Les assistants de codage IA tels que GitHub Copilot appliquent la même approche de prédiction du jeton suivant basée sur le transformateur utilisée pour le texte général, mais entraînés spécifiquement sur du code de programmation et adaptés à l'espace de travail d'un développeur. Selon la documentation propre de GitHub, Copilot fonctionne en deux modes principaux : un mode « assistif » qui suggère du code, répond à des questions ou explique du code au fur et à mesure qu'un développeur tape, et un mode « agent » où un développeur décrit un objectif et Copilot travaille à travers plusieurs étapes — recherchant le référentiel, proposant un plan, modifiant les fichiers et exécutant des outils pour accomplir une tâche.

La documentation de GitHub indique que les capacités de Copilot s'étendent également aux personnalisations, telles que les instructions spécifiques au référentiel et les intégrations d'outils externes, et que certaines fonctionnalités fonctionnent de manière asynchrone, permettant à un agent de codage d'apporter des modifications et d'ouvrir ou de mettre à jour des demandes de tirage sans surveillance constante. GitHub ne spécifie pas publiquement tous les modèles utilisés ni les détails techniques complets de la façon dont le contexte est sélectionné et transmis au modèle sous-jacent, selon sa documentation actuelle.

Comment les trois se comparent

Les trois approches dépendent des données d'entraînement : les modèles internes du modèle proviennent du texte, des images ou du code auquel il a été exposé pendant l'entraînement, et sa sortie est une séquence ou une image nouvellement générée façonnée par ces modèles appris plutôt qu'une copie d'un quelconque exemple d'entraînement unique.