Aller au contenu
Pilote Expertise

visio et maquette gratuites

Définition

Jeton (token)

Un jeton est l'unité élémentaire qu'un grand modèle de langage manipule : une suite de caractères obtenue en découpant automatiquement un texte.

Le terme officiel, publié au Journal officiel du 6 septembre 2024, est « jeton textuel » ; l'anglais dit « token ». Une phrase suffit à retenir l'essentiel : un jeton n'est pas un mot.

Un mot courant forme souvent un jeton unique, un mot rare ou fortement accentué se découpe en plusieurs morceaux, puis chaque signe de ponctuation compte pour lui-même.

Pourquoi les jetons arrivent sur votre facture

Tout ce qui entre dans un modèle puis tout ce qui en sort est compté en jetons.

  • C'est cette unité qui sert à estimer puis à facturer l'usage des modèles commerciaux, entrée et sortie comptées séparément.
  • La fenêtre de contexte, c'est-à-dire la quantité de texte que le modèle garde sous les yeux pendant un échange, se mesure elle aussi en jetons.

La conséquence est très concrète. Un assistant interne à qui l'on renvoie un catalogue entier à chaque question paie ce catalogue à chaque question, puis il met d'autant plus de temps à répondre.

Découper les documents puis n'envoyer que les passages utiles, ce que fait la génération augmentée par recherche documentaire (RAG), change l'ordre de grandeur autant que le délai. Un prompt trop bavard coûte de la même façon, à chaque appel.

Ce que le compte de jetons ne mesure pas

Ni la difficulté d'une tâche, ni la qualité d'une réponse : une réponse courte et fausse coûte moins qu'une réponse longue et juste.

Ce compte ne se compare pas non plus d'un éditeur à l'autre sans précaution, puisque chaque famille de modèles a son propre découpage : le même texte ne donne pas le même nombre de jetons partout, si bien qu'un prix affiché au millier de jetons ne se lit jamais seul.

Un texte français, avec ses accents puis ses mots longs, se découpe en général en davantage de jetons que sa traduction anglaise.

Enfin, un modèle à poids ouverts exécuté sur votre propre serveur ne se facture plus au jeton mais à l'heure de machine : le compteur change de nature, la dépense ne disparaît pas.

Rémi Doyen, pour l'équipe Pilote Expertise. Mis à jour le .

Trente minutes pour savoir si nous pouvons vous être utiles.

Nous regardons ensemble ce qui vous coûte des heures chaque semaine. Si nous ne pouvons rien pour vous, nous vous le dirons pendant l'appel.

visio et maquette gratuites

  • Certifié Qualiopi pour les actions de formation
  • Hébergement en France, en Europe ou chez vous
  • Conforme RGPD
  • Code source remis
  • Basée près de Nancy

30 min · visio · gratuit

Réserver une visio de 30 min

visio et maquette gratuites

Cadrage : ce qui est faisable et à quelles conditions

30 minutes en visioconférence Google Meet, ouvert à tous les sujets.

Le module de réservation n'est pas encore configuré sur cet environnement.

Page de rendez-vous ou contact direct.

Ouvrir Calendly dans un nouvel onglet · Rendez-vous hébergé par Calendly (États-Unis), voir la politique de confidentialité.