La fonctionnalité d’émulation de workloads de KAI Data Center Builder intègre des workloads d’entraînement de grands modèles de langage (LLM) et d’autres modèles d’intelligence artificielle (IA) dans la conception et la validation des composants de l’infrastructure d’IA - réseaux, serveurs et accélérateurs. Cette solution garantit une plus grande synergie entre la conception du hardware, les protocoles, les architectures et les algorithmes d’entraînement de l’IA, ce qui permet d’améliorer les performances du système.

Les opérateurs d’IA utilisent diverses stratégies de traitement parallèle, également connues sous le nom de partitionnement des modèles, pour accélérer l’apprentissage des modèles d’IA. L’alignement du partitionnement de modèles sur la topologie et la configuration des clusters d’IA améliore les performances de l’entraînement. Au cours de la phase de conception du cluster d’IA, c’est l’expérimentation qui permet le mieux de répondre aux questions critiques. Nombre de ces questions portent sur l’efficacité du mouvement des données entre les unités de traitement graphique (GPU). Les principales caractéristiques à prendre en compte sont les suivantes :
● Mise à l’échelle des interconnexions de GPU au sein du serveur ou du rack d’intelligence artificielle
● Mise à l’échelle de la conception du réseau, y compris la bande passante par GPU et la topologie
● Configuration de l’équilibrage de la charge du réseau et du contrôle de la congestion
● Réglage des paramètres du cadre d’entraînement

La solution d’émulation de workloads KAI Data Center Builder reproduit les modèles de communication réseau des tâches d’entraînement d’IA réelles afin d’accélérer l’expérimentation, de réduire la courbe d’apprentissage nécessaire pour atteindre la maîtrise, et de fournir des informations plus approfondies sur les causes de la dégradation des performances, ce qui n’est pas facilement réalisable en expérimentant avec de vraies tâches d’entraînement d’IA. Les clients de Keysight peuvent accéder à une bibliothèque de workloads LLM tels que GPT et Llama, avec une sélection de schémas de partitionnement de modèles populaires tels que Data Parallel (DP), Fully Sharded Data Parallel (FSDP), et le parallélisme tridimensionnel (3D).

L’utilisation de l’application d’émulation de workload dans le KAI Data Center Builder permet aux opérateurs d’IA de :

● Expérimenter les paramètres de parallélisme, y compris la taille des partitions et leur répartition sur l’infrastructure d’IA disponible (ordonnancement).
● Comprendre l’impact des communications à l’intérieur et entre les partitions sur le temps global d’exécution d’une tâche
● Identifier les opérations collectives les moins performantes et identifier les goulets d’étranglement
● Analyser l’utilisation du réseau, le temps de latence et la congestion pour comprendre leur impact sur le temps global d’exécution d’une tâche
Les nouvelles capacités d’émulation de workload du KAI Data Center Builder permettent aux opérateurs d’IA, aux fournisseurs de GPU cloud et aux fournisseurs d’infrastructure d’introduire des workloads d’IA réalistes dans leurs configurations de laboratoire afin de valider les conceptions évolutives des clusters d’IA et des nouveaux composants. Ils peuvent également expérimenter pour affiner les schémas de partitionnement des modèles, les paramètres et les algorithmes afin d’optimiser l’infrastructure et d’améliorer les performances des workloads d’IA.
« Les infrastructures d’IA gagnant en ampleur et en complexité, la validation et l’optimisation de l’ensemble de la chaîne de production deviennent indispensables. Pour éviter des retards coûteux et des remaniements, il est essentiel de ramener la validation à des phases plus précoces du cycle de conception et de fabrication. L’émulation de workload de KAI Data Center Builder apporte un nouveau niveau de réalisme à la conception des composants et des systèmes d’IA, en optimisant les workloads pour une performance maximale », déclare Ram Periakaruppan, Vice President et General Manager, Network Test & Security Solutions chez Keysight

KAI Data Center Builder est le fondement de l’architecture Keysight Artificial Intelligence (KAI), un portefeuille de solutions de bout en bout conçues pour aider les clients à augmenter la capacité de traitement de l’intelligence artificielle (IA) dans les centres de données en validant les composants des clusters d’IA à l’aide d’une émulation de workloads d’IA dans le monde réel.