Token IA : qu’est-ce qu’un token et pourquoi est-il essentiel à ChatGPT, Claude et Gemini ?
Quand vous posez une question à ChatGPT, Claude ou Gemini, vous écrivez des mots et des phrases comme vous le feriez avec un humain.
Mais l’intelligence artificielle ne traite pas directement votre texte de cette manière.
Avant d’être analysée par le modèle, votre phrase est découpée en petites unités appelées tokens.
Ce mécanisme paraît technique. Pourtant, il est essentiel pour comprendre comment fonctionnent les modèles d’IA, pourquoi ils ont une certaine capacité de contexte et pourquoi leur utilisation peut coûter de l’argent.
Un token, ce n’est pas forcément un mot
Un token est une unité de texte utilisée par un modèle d’intelligence artificielle.
Il peut correspondre à un mot entier, mais aussi à une partie de mot, un caractère ou un signe de ponctuation.
Ainsi, un mot n’est pas nécessairement égal à un token.
Un terme courant peut être représenté par une seule unité tandis qu’un mot long ou inhabituel pourra être découpé en plusieurs morceaux.
OpenAI explique que le nombre de tokens dépend notamment du modèle, de son encodage et de la langue utilisée. La société fournit d’ailleurs un guide officiel pour comprendre et compter les tokens.
Google utilise le même principe avec Gemini. Sa documentation indique qu’un token correspond approximativement à quatre caractères et que 100 tokens représentent environ 60 à 80 mots en anglais. Il s’agit toutefois d’une approximation, et non d’une règle universelle. (Google AI)
Comment une phrase devient-elle des tokens ?
Le processus s’appelle la tokenisation.
On peut le résumer simplement :
Texte → tokens → traitement par le modèle → nouveaux tokens → réponse
Votre phrase est donc transformée en unités que le modèle peut manipuler.
Ces unités sont ensuite associées à des représentations numériques et traitées par le réseau neuronal.
Lorsque le modèle génère une réponse, il produit à son tour une succession de tokens qui sont ensuite reconvertis en texte lisible.
C’est l’une des raisons pour lesquelles une IA peut sembler écrire mot après mot : elle génère progressivement une séquence de sortie.
Les tokens expliquent aussi la longueur des conversations
Une autre notion devient alors importante : la fenêtre de contexte.
Elle correspond, de manière simplifiée, à la quantité maximale d’informations qu’un modèle peut prendre en compte dans une requête.
Une conversation très courte nécessite relativement peu de contexte.
Mais imaginez une discussion contenant plusieurs dizaines de pages, des documents, du code et de nombreuses instructions.
La quantité de tokens à traiter devient beaucoup plus importante.
Les modèles modernes disposent donc de fenêtres de contexte toujours plus grandes afin de pouvoir travailler avec des conversations, des documents ou des bases de code volumineuses.
Mais une grande fenêtre de contexte signifie également davantage de calcul potentiel.
Tokens d’entrée et tokens de sortie
Il faut distinguer deux catégories principales.
Les tokens d’entrée correspondent aux informations que vous envoyez au modèle : votre question, vos instructions, un document ou le contexte d’une conversation.
Les tokens de sortie correspondent à ce que le modèle génère.
Cette distinction est importante pour les API, car les fournisseurs peuvent facturer différemment l’entrée et la sortie.
OpenAI distingue également les tokens mis en cache et les tokens utilisés pour le raisonnement de certains modèles. Une réponse visible de quelques lignes peut donc avoir nécessité davantage de tokens que ce que son apparence laisse penser. (OpenAI)
Pourquoi les tokens coûtent-ils de l’argent ?
Derrière chaque token généré se trouve du calcul informatique.
Le modèle doit effectuer une immense quantité d’opérations mathématiques pour analyser le contexte et produire la suite de sa réponse.
C’est notamment pour cela que les API d’intelligence artificielle sont souvent facturées au nombre de tokens.
Le prix est généralement exprimé par million de tokens.
Mais attention : le prix par token ne suffit pas pour comparer deux modèles.
Deux modèles peuvent découper le même texte différemment et générer des volumes de sortie différents.
OpenAI recommande donc de comparer le coût réel d’une tâche plutôt que de regarder uniquement le prix affiché par million de tokens. (OpenAI)
Et les images et les vidéos ?
Le concept ne concerne plus uniquement le texte.
Les modèles multimodaux peuvent également traiter des images, de l’audio et de la vidéo.
Google précise par exemple que les entrées de Gemini sont tokenisées, y compris les images, les vidéos et l’audio. (Google AI)
Cela permet de comprendre pourquoi analyser une vidéo complète demande beaucoup plus de ressources que répondre à une question de quelques mots.
L’IA doit traiter une quantité d’informations beaucoup plus importante.
Derrière les tokens, il y a les GPU
C’est ici que le sujet rejoint directement l’infrastructure.
Pour traiter ces tokens, les modèles utilisent des processeurs extrêmement puissants, notamment des GPU.
Comme nous l’expliquions dans notre article « Nouveaux GPU : pourquoi ils ne servent plus seulement à jouer », les cartes graphiques sont devenues de véritables moteurs de calcul pour l’intelligence artificielle.
Et derrière ces GPU se trouvent les data centers.
Notre article « Data centers IA : la France et la Suisse accélèrent » montre justement pourquoi la croissance de l’IA entraîne une explosion des besoins en infrastructures, en électricité et en refroidissement.
Le token paraît donc virtuel.
Mais le calcul nécessaire pour le produire est bien réel.
Les « AI Factories » produisent des tokens
Cette réalité explique également le concept d’AI Factory développé par NVIDIA.
Dans notre article « NVIDIA : des GPU aux AI Factories, la nouvelle révolution », nous expliquions comment NVIDIA cherche désormais à fournir non seulement des GPU, mais des infrastructures complètes capables de faire fonctionner les modèles d’IA à grande échelle.
L’image de l’usine est intéressante.
Une usine classique produit des biens physiques.
Une AI Factory produit notamment des tokens, des réponses, du code, des prédictions et des décisions.
L’intelligence artificielle devient ainsi progressivement une industrie.
Les agents IA pourraient faire exploser le nombre de tokens
Un chatbot classique fonctionne généralement de manière assez simple :
question → réponse.
Un agent IA peut fonctionner très différemment.
Il peut recevoir un objectif, rechercher des informations, utiliser un outil, analyser le résultat, écrire du code, vérifier son travail puis recommencer.
Chaque étape peut nécessiter de nouveaux appels au modèle et donc de nouveaux tokens.
C’est justement ce changement que nous avons étudié dans « Agents IA et blockchain : quand les machines deviennent des clients ».
Plus les agents deviennent autonomes, plus leur consommation de calcul peut augmenter.
Quand les IA commencent à payer elles-mêmes
Cette évolution ouvre une autre perspective intéressante.
Un agent IA pourrait avoir besoin d’acheter une donnée, d’utiliser une API ou de louer une ressource informatique.
Dans « IA et crypto : ces agents qui créent un wallet et tradent seuls », nous avons justement exploré cette évolution : des agents capables de disposer d’un portefeuille et d’effectuer certaines transactions.
Et dans « Agents IA et blockchain : quand les machines deviennent des clients », nous avons étudié l’idée d’une économie où les machines pourraient directement payer des services numériques.
Il faut cependant distinguer deux notions :
un token informatique est une unité utilisée par un modèle d’IA pour traiter l’information ;
un token crypto est un actif numérique sur une blockchain.
Le même mot, mais deux réalités complètement différentes.
Le token devient une unité économique de l’IA
C’est probablement l’idée la plus importante à retenir.
Le token n’est pas seulement un concept technique utilisé par les développeurs.
Il permet aussi de mesurer une partie du travail réalisé par les modèles.
Plus une IA traite d’informations, plus elle peut consommer de tokens.
Plus les agents deviennent autonomes, plus ils peuvent multiplier les appels aux modèles.
Et plus ces appels augmentent, plus les besoins en GPU et en data centers progressent.
La chaîne devient donc :
Utilisateur → tokens → modèle → GPU → data center → énergie → réponse
C’est cette chaîne qui se trouve derrière chaque interaction avec une IA hébergée dans le cloud.
Pourquoi comprendre les tokens va devenir important
Pendant longtemps, les utilisateurs n’avaient pas vraiment besoin de savoir comment fonctionnait une requête Internet.
Aujourd’hui, comprendre les tokens devient progressivement utile pour comprendre l’économie de l’IA.
Les tokens permettent d’expliquer :
- la taille des conversations ;
- la fenêtre de contexte ;
- le coût des API ;
- le calcul nécessaire aux modèles ;
- la consommation des agents IA ;
- et une partie des besoins gigantesques en infrastructures.
Le token est donc une sorte de pont entre le langage humain et l’industrie informatique.
Le token IA
Un token n’est ni un mot, ni une mesure directe de l’intelligence d’un modèle.
C’est une unité utilisée pour représenter et traiter l’information.
Mais derrière cette petite unité se cache une immense chaîne technologique : modèles d’IA, GPU, data centers, réseaux et énergie.
Et avec le développement des agents autonomes, cette chaîne pourrait devenir encore plus importante.
Hier, nous demandions à l’IA de répondre à une question.
Demain, nous lui demanderons peut-être de rechercher, programmer, analyser, acheter et agir.
Et derrière chacune de ces actions, il y aura toujours du calcul.
Et derrière ce calcul, des tokens.
À propos de l’auteur
Je suis Adrien Hassler, créateur d’AdrienTech, un média consacré à l’intelligence artificielle, aux nouvelles technologies, aux sciences, à l’astronomie et à la blockchain. Passionné par l’innovation, j’explore les technologies qui transforment notre environnement numérique et scientifique, avec l’envie de continuer à décrypter les innovations qui façonnent notre avenir.
