La necesidad de interconexiones más rápidas y escalables

El aumento de las demandas de computación en la IA y la computación de alto rendimiento (HPC), como una clase incipiente de modelos de billones de parámetros, está impulsando la necesidad de sistemas de varios nodos y varias GPU con comunicación fluida y de alta velocidad entre cada GPU. Para crear la plataforma informática integral más potente que pueda ajustarse a la velocidad de la empresa, se necesita una interconexión más rápida y escalable.

NVIDIA A100 con conexión GPU a GPU NVLink
NVIDIA A100 con conexiones GPU a GPU NVLink

Rendimiento NVLink

Rendimiento NVLink

Conexión total de GPU con NVIDIA NVSwitch

La tercera generación de NVIDIA NVSwitch se basa en la capacidad de comunicación avanzada de NVLink a fin de ofrecer un mayor ancho de banda y una latencia reducida para cargas de trabajo intensivas en computación. A fin de permitir operaciones colectivas y de alta velocidad, cada NVSwitch tiene 64 puertos NVLink equipados con motores para el Protocolo Escalable de Reducción y Agregación Jerárquica (SHARP) de NVIDIA para reducciones de red y aceleración de multidifusión.

Conexión total de GPU con NVIDIA NVSwitch
NVLink y NVSwitch funcionan juntos

Cómo funcionan NVLink y NVSwitch juntos

NVLink es una interconexión directa entre GPU que escala la entrada/salida (IO) de varias GPU dentro del servidor. NVSwitch conecta varios NVLinks para ofrecer comunicación total con la GPU a velocidad NVLink completa dentro de un solo nodo y entre nodos.    

Con la combinación de NVLink y NVSwitch, NVIDIA ha ganado MLPerf 1.1, el primer punto de referencia de IA del sector.

Escala para entrenar modelos de billones de parámetros con el sistema de conmutadores NVLink

Con NVSwitch, las conexiones NVLink se pueden ampliar entre nodos para crear un clúster de GPU fluido, de alto ancho de banda y de varios nodos, formando de manera efectiva una GPU del tamaño de un centro de datos. Al añadir un segundo nivel de conmutadores NVLink externamente a los servidores, el sistema de conmutadores NVLink puede conectar hasta 256 GPU y ofrecer una asombrosa cantidad de 57,6 terabytes por segundo (TB/s) de ancho de banda entre todos los componentes, lo que permite resolver rápidamente incluso los trabajos de IA más grandes. 

Escala para entrenar modelos de billones de parámetros
Conmutador NVIDIA NVLink

Conmutador NVIDIA NVLink

El conmutador NVIDIA NVLink cuenta con 128 puertos NVLink con una capacidad de conmutación sin bloqueo de 3,2 terabytes por segundo (TB/s). El conmutador de rack está diseñado para ofrecer un ancho de banda alto y una latencia baja en los sistemas NVIDIA DGX y NVIDIA HGX que admiten conectividad NVLink externa de cuarta generación.

Escalado de empresa a exaescala

Conexión completa para un rendimiento sin igual

NVSwitch es la primera arquitectura de conmutador en el nodo que admite de 8 a 16 GPU totalmente conectadas en un único nodo de servidor. NVSwitch de tercera generación interconecta cada par de GPU con unos increíbles 900 GB/s. Admite comunicación completa entre todos los componentes. Las GPU se pueden utilizar como un solo acelerador de alto rendimiento con hasta 15 petaFLOPS de potencia de computación de deep learning. 

La plataforma de IA y HPC más potente

NVLink y NVSwitch son elementos esenciales de la solución completa del centro de datos de NVIDIA que incorpora hardware, redes, software y bibliotecas, así como modelos y aplicaciones de IA optimizados del software de IA NVIDIA y el catálogo de NVIDIA NGC. La plataforma de IA y HPC integral más potente, permite a los investigadores ofrecer resultados reales e implementar soluciones en producción, impulsando una aceleración sin precedentes a todas las escalas. 

Especificaciones

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  Segunda generación Tercera generación Cuarta generación
Ancho de banda NVLink por GPU 300 GB/s 600 GB/s 900 GB/s
Número máximo de enlaces por GPU 6 12 18
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper
  Primera generación Segunda generación Tercera generación
Cantidad de GPU con conexión directa/nodo Hasta 8 Hasta 8 Hasta 8
Ancho de banda de GPU a GPU de NVSwitch 300 GB/s 600 GB/s 900 GB/s
Ancho de banda agregado total 2,4 TB/s 4,8 TB/s 7,2 TB/s
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper

Sumérgete en la arquitectura NVIDIA Hopper