AWS a lancé les instances Amazon EC2 Trn2 et les Trn2UltraServers basés sur les puces Trainium2 lors de la conférence re:Invent 2024, ainsi que la puce Trainium3 AI de nouvelle génération. La nouvelle génération d'instances a considérablement amélioré les performances et le rapport qualité-prix est de 30 à 40 % supérieur à celui de la génération précédente d'instances EC2 basées sur GPU. Cette décision marque une étape importante pour AWS dans le domaine de l'informatique IA, en fournissant des capacités informatiques plus puissantes pour la formation et le déploiement de grands modèles de langage, et en promouvant l'application et le développement généralisés de la technologie IA grâce à une coopération avec plusieurs partenaires. efficacité.
Lors de la conférence AWS re:Invent 2024, Amazon Web Services (AWS) a annoncé le lancement d'instances Amazon Elastic Compute Cloud (EC2) basées sur les puces Trainium2, qui sont officiellement disponibles pour les utilisateurs. Le prix et les performances de cette nouvelle instance sont 30 à 40 % plus élevés que la génération précédente d'instances EC2 basées sur GPU. « Je suis ravi d'annoncer la disponibilité générale des instances Amazon EC2 Trn2 alimentées par Trainium2 », a déclaré Matt Garman, PDG d'AWS.
En plus des instances Trn2, AWS a également lancé Trn2UltraServers et présenté la puce Trainium3AI de nouvelle génération. Équipées de 16 puces Trainium2, les instances Trn2 sont capables de fournir jusqu'à 20,8 pétaflops de performances informatiques et sont conçues pour la formation et le déploiement de grands modèles de langage (LLM) avec des milliards de paramètres.
Trn2UltraServers combine quatre serveurs Trn2 en un seul système, fournissant jusqu'à 83,2 pétaflops de puissance de calcul pour atteindre une plus grande évolutivité. Ces UltraServers disposent de 64 puces Trainium2 interconnectées pour répondre aux besoins de puissance de calcul des clients lors de la formation et de l'inférence. « Le lancement des instances Trainium2 et Trn2UltraServers offre aux clients la puissance de calcul dont ils ont besoin pour résoudre les modèles d'IA les plus complexes », a déclaré David Brown, vice-président du calcul et des réseaux chez AWS.
AWS s'est associé à Anthropic pour lancer un cluster informatique d'IA à grande échelle appelé Project Rainier, utilisant des centaines de milliers de puces Trainium2. Cette infrastructure soutiendra le développement d'Anthropic, y compris l'optimisation de son produit phare Claude pour qu'il fonctionne sur le matériel Trainium2.
En outre, Databricks et Hugging Face travaillent également avec AWS pour tirer parti des capacités de Trainium afin d'améliorer les performances et la rentabilité de leurs produits d'IA. Databricks prévoit d'utiliser le matériel pour améliorer sa plate-forme Mosaic AI, tandis que Hugging Face intègre Trainium2 dans ses outils de développement et de déploiement d'IA.
Les autres clients de Trainium2 incluent Adobe, Poolside et Qualcomm. Garman a mentionné qu'après qu'Adobe ait utilisé Trainium2 pour les premiers tests du modèle d'inférence Firefly, les résultats étaient très satisfaisants et devraient permettre d'économiser beaucoup. "Poolside espère économiser 40 % par rapport aux autres options", a-t-il ajouté. « Qualcomm exploite Trainium2 pour développer des systèmes d'IA qui peuvent être formés dans le cloud et déployés en périphérie. »
De plus, AWS a également présenté en avant-première sa puce Trainium3, qui utilise un processus de 3 nanomètres. Les UltraServers basés sur Trainium3 devraient être lancés d'ici la fin de 2025 et sont conçus pour fournir des performances quatre fois supérieures à celles des UltraServers Trn2.
Pour optimiser l'utilisation du matériel Trainium, AWS a également lancé Neuron SDK, une suite d'outils logiciels qui aide les développeurs à optimiser les modèles pour obtenir des performances optimales sur les puces Trainium. Le SDK prend en charge des frameworks tels que JAX et PyTorch, permettant aux clients d'intégrer le logiciel dans les flux de travail existants avec un minimum de modifications de code.
Actuellement, les instances Trn2 sont disponibles dans la région USA Est (Ohio) et seront étendues à d'autres régions à l'avenir. UltraServers est actuellement en version préliminaire.
Dans l'ensemble, le lancement de Trainium2 et de ses produits et services associés par AWS a donné une forte impulsion au développement rapide du domaine de l'intelligence artificielle et a encore consolidé la position de leader d'AWS dans les domaines du cloud computing et de l'IA. À l'avenir, avec le lancement de Trainium3, ses avantages dans le domaine de l'informatique IA seront encore plus significatifs.