Tous les quiz › Tech & IA

Photo : Schéma complet d'un Transformer · dvgodoy · 2021 · Wikimedia Commons
Tokens, attention, RLHF, température, fenêtre de contexte : suivez une réponse de Claude de l'entraînement jusqu'à votre écran, et comprenez enfin ce qui se passe sous le capot.
Jouer à ce quizDans le prompt système, qui cadre l'échange : Le prompt système est le texte de cadrage lu avant les messages : rôle, ton, règles. Selon Anthropic, une seule phrase de rôle suffit à orienter le comportement. L'appli Claude a d'ailleurs le sien, publié par Anthropic : il lui donne notamment la date du jour au début de chaque conversation.
Faux : Une conversation ne change pas les poids du modèle. Sa mémoire de travail, c'est la fenêtre de contexte. Quand l'appli Claude se souvient de vous, elle recherche d'anciens échanges ou des notes et les glisse dans la conversation, comme un aide-mémoire. Sans cela, chaque conversation repart de zéro.
Activer la recherche web pour des infos récentes : Un modèle ne sait que ce qu'il a lu avant la fin de son entraînement : c'est la date de coupure des connaissances, indiquée pour chaque modèle Claude. Comme Rip Van Winkle réveillé après vingt ans, il ignore la suite. L'outil de recherche web lui donne accès à des pages récentes, avec citations.
Le plus petit et le plus rapide, comme Haiku : Une gamme existe parce qu'il faut arbitrer entre capacités, vitesse et coût. Pour des tâches simples répétées en masse, Anthropic conseille de commencer par un modèle rapide et économique comme Haiku, puis de monter en gamme seulement si les tests le justifient. Les plus gros modèles se gardent pour le raisonnement complexe.
Ils ne voient pas les lettres : le mot leur arrive découpé en tokens : Le texte est d'abord découpé en tokens : mots, bouts de mots ou caractères, traités comme des blocs. « strawberry » devient deux ou trois blocs dont les lettres ne se voient pas une à une. Chez Claude, un token vaut en moyenne quelques caractères. Les chercheurs ajoutent que compter reste en soi difficile pour ces modèles.