Tous les quiz › Tech & IA

Photo : Le supercalculateur Frontier, aux États-Unis · Oak Ridge National Laboratory · 2022 · Wikimedia Commons
Puces, mémoire, électricité, cloud : découvrez ce qui tourne vraiment derrière chaque réponse d'une IA comme Claude.
Jouer à ce quizLes graphismes 3D des jeux vidéo : Fondée pour apporter la 3D aux jeux vidéo, NVIDIA présente en 1999 ce qu'elle appelle le premier GPU. Or afficher une scène 3D, c'est calculer des millions de pixels en même temps : exactement le calcul en parallèle dont l'IA aura besoin plus tard.
Amazon Bedrock : Claude est proposé dans Amazon Bedrock, le service d'IA d'AWS, avec l'authentification et la facturation d'AWS. Il est aussi disponible sur Google Cloud et Microsoft Foundry, en plus de l'API d'Anthropic. Intérêt : rester dans le périmètre de sécurité et les contrats du cloud déjà choisi. S3, lui, sert à stocker des fichiers.
Ils font en parallèle d'immenses calculs de matrices : Un CPU enchaîne très vite quelques dizaines de tâches ; un GPU en mène des milliers de front, chacune plus lentement. Or un réseau de neurones, ce sont surtout des tableaux de nombres (matrices) multipliés entre eux : des millions d'opérations indépendantes. Le leurre est faux : chaque cœur de GPU est même plus lent.
Les performances progressent régulièrement avec la taille et le calcul : L'erreur du modèle baisse selon une loi de puissance quand on augmente taille, données et calcul, sur plus de sept ordres de grandeur. Le progrès devient presque calculable : on sait à peu près ce qu'achètera un budget de calcul. À l'inverse des leurres, la forme du réseau compte peu et les grands modèles apprennent plus vite.
Le quantifier : stocker ses poids sur moins de bits : Quantifier, c'est arrondir chaque poids avec moins de précision : en 4 bits au lieu de 16, le modèle prend environ quatre fois moins de place, au prix d'une légère perte de qualité. Bonus : moins de données à lire en mémoire, donc souvent des réponses plus rapides. Un ZIP, lui, doit être décompressé avant usage.