Alors que la montée en puissance des outils d’ IA générative repose largement sur les infrastructures cloud, les coûts d’abonnement aux API explosent, les données sensibles transitent sur des serveurs distants, et les performances dépendent en grande partie de la connexion réseau, avec des problèmes de latence qui peuvent survenir. Et c’est sans compter le coût environnemental gigantesque des centres de données.
La TT-QuietBox 2 est équipée d’une architecture hybride qui comprend quatre processeurs Blackhole, chacun intégrant 120 accélérateurs d’IA Tensix, ainsi qu’un stockage SSD de dernière génération ultra-rapide. Cette configuration permet à l’appareil de disposer de 128 Go de mémoire GDDR6 et de 256 Go de mémoire dynamique synchrone DDR5, soit un total de 384 Go.
Cette configuration extrêmement performante a la capacité de charger et d’exécuter des modèles linguistiques de grande envergure tels que GPT-OSS-120B d’OpenAI, Llama 3.1 70B de Meta ou encore Mixtral 8x7B de Mistral, à une vitesse avoisinant les 500 tokens par seconde et sans nécessiter le recours au cloud.
L’utilisateur peut ainsi interagir avec un assistant IA sans être connecté à Internet, et sans latence, tout en bénéficiant de performances de haut niveau pour de nombreux usages professionnels, que ce soit la rédaction, l’analyse de données, la génération de code ou la traduction.
