Un jeton est l'unité élémentaire qu'un grand modèle de langage manipule : une suite de caractères obtenue en découpant automatiquement un texte.
Le terme officiel, publié au Journal officiel du 6 septembre 2024, est « jeton textuel » ; l'anglais dit « token ». Une phrase suffit à retenir l'essentiel : un jeton n'est pas un mot.
Un mot courant forme souvent un jeton unique, un mot rare ou fortement accentué se découpe en plusieurs morceaux, puis chaque signe de ponctuation compte pour lui-même.
Pourquoi les jetons arrivent sur votre facture
Tout ce qui entre dans un modèle puis tout ce qui en sort est compté en jetons.
- C'est cette unité qui sert à estimer puis à facturer l'usage des modèles commerciaux, entrée et sortie comptées séparément.
- La fenêtre de contexte, c'est-à-dire la quantité de texte que le modèle garde sous les yeux pendant un échange, se mesure elle aussi en jetons.
La conséquence est très concrète. Un assistant interne à qui l'on renvoie un catalogue entier à chaque question paie ce catalogue à chaque question, puis il met d'autant plus de temps à répondre.
Découper les documents puis n'envoyer que les passages utiles, ce que fait la génération augmentée par recherche documentaire (RAG), change l'ordre de grandeur autant que le délai. Un prompt trop bavard coûte de la même façon, à chaque appel.
Ce que le compte de jetons ne mesure pas
Ni la difficulté d'une tâche, ni la qualité d'une réponse : une réponse courte et fausse coûte moins qu'une réponse longue et juste.
Ce compte ne se compare pas non plus d'un éditeur à l'autre sans précaution, puisque chaque famille de modèles a son propre découpage : le même texte ne donne pas le même nombre de jetons partout, si bien qu'un prix affiché au millier de jetons ne se lit jamais seul.
Un texte français, avec ses accents puis ses mots longs, se découpe en général en davantage de jetons que sa traduction anglaise.
Enfin, un modèle à poids ouverts exécuté sur votre propre serveur ne se facture plus au jeton mais à l'heure de machine : le compteur change de nature, la dépense ne disparaît pas.