Aller au contenu

Glossaire / Intelligence artificielle

Token

Autres noms : jeton

Un token est le petit morceau de texte, mot ou fragment de mot, qu’une IA lit et produit. C’est son unité de mesure.

Un LLM ne lit pas des mots entiers. Il découpe le texte en tokens : un mot court en vaut un, un mot long en vaut plusieurs. Les limites et les prix des modèles s’expriment dans cette unité. Un prompt long en consomme davantage.

Chaque modèle a une fenêtre de contexte, soit le nombre maximal de tokens qu’il peut traiter en une fois, question et réponse comprises. Les services d’IA facturent au nombre de tokens lus et écrits.

Un exemple

Un contrat de cinquante pages dépasse la limite d’un petit modèle. Il faut le découper, ou passer à un modèle capable de lire davantage en une fois.

Le conseil d’AR Digital

Envoyez au modèle ce qui sert à la tâche, pas tout le dossier. Les réponses sont meilleures et la facture plus légère.

AR Digital / Contact

Un projet derrière ce mot ?

Trente minutes, en visio ou à l’agence, pour passer de la définition à votre cas concret. On vous dit franchement ce qu’on ferait, à quel prix et avec quelle aide.

Radu Ulea, fondateur d’AR Digital

Radu Ulea

Fondateur, AR Digital

« On vous dit ce qui marche, ce qui ne marche pas, et ce que ça coûte. Puis on le fait. »

hello@ardigital.eu