DDN busca liderazgo en IA mientras invierte 300 millones de dólares
3 min read
DDN, que se especializa en informática de alto rendimiento (HPC), ha conseguido una inversión de 300 millones de dólares del fondo estadounidense Blackstone, que, según dice, se utilizará para traducir el liderazgo en supercomputación en soluciones de almacenamiento para inteligencia artificial (IA).
Aunque los arreglos destinados a las dos cargas de trabajo son similares en cuanto a su capacidad para acomodar un procesamiento de rendimiento extremadamente alto, existen diferencias. Cargas de trabajo de HPC Generar grandes cantidades de datos de simulación implica leer una cantidad relativamente pequeña de formulaciones matemáticas.
En la IA, es todo lo contrario. Se leen grandes cantidades de datos para crear modelos relativamente pequeños durante el entrenamiento o para generar respuestas a una aplicación o un mensaje humano durante la inferencia.
DDN es compatible con EXAscaler AI
DDN vende sus matrices EXAscaler al mercado de HPC. Utilizan el sistema de archivos paralelo Lustre, que es de código abierto y se introdujo por primera vez hace casi dos décadas. Una matriz EXAscaler consta de muchas unidades de disco, una de las cuales actúa como índice del contenido de las demás. Los nodos informáticos consultan ese nodo, entre otros, para averiguar qué bloques de datos leer y escribir, y luego se comunican directamente con ese nodo.
Para funcionar, los nodos de computación deben ejecutar un cliente Lustre y tener una conexión de red directa a todos los nodos de almacenamiento. Esto generalmente significa una conexión Infiniband, sin pérdida de paquetes, y la capacidad de copiar datos directamente al controlador. Memoria de acceso aleatorio (RAM) o entre Memoria no volátil exprés (NVMe) Almacenamiento en la máquina host.
DDN ha incluido esta funcionalidad en su matriz AI400X2, que está dirigida a cargas de trabajo de IA. Usan el mismo nodo 2U que EXAscaler, pero usan la tarjeta controladora Nvidia Ethernet SpectrumX. Estos utilizan una DPU Bluefield de Nvidia y aportan los mismos beneficios que Infiniband a las redes Ethernet. Su uso de RDMA sobre Ethernet convergente (RoCE) significa que no se pierden paquetes al escribir datos en Nvidia. Unidad de procesamiento de gráficos (GPU) Memoria directa (usando GPUdirect).
Almacenamiento DDN para datos de entrenamiento
El objetivo principal del AI400X2 es comunicarse con la GPU lo más rápido posible durante las cargas de trabajo de entrenamiento. Pero son potencialmente una opción muy costosa para almacenar grandes cantidades de datos que una empresa podría querer almacenar a partir de modelos ya entrenados.
Para ello, DDN cuenta con la gama Infinia a partir de 2023. Proporcionan almacenamiento de objetos S3 con la capacidad de agregar unidades sin interrupciones.
DNN descarga funciones de almacenamiento S3 a contenedores, como servidores de metadatos, servidores de almacenamiento, etc. Esto significa que DDN Infinia puede reproducir un rendimiento similar a Lustre cuando se implementan contenedores S3 específicos en nodos informáticos. Los arreglos Infinia pueden equiparse con tarjetas SpectrumX para maximizar la velocidad de transferencia.
DNN afirma saber mejor que nadie cómo funciona el almacenamiento intensivo. Cuando la GPU escribe datos en paralelo y luego los lee rápidamente, pueden ocurrir problemas de asimetría. Los puntos de control controlan esto, pero es una operación que consume muchos recursos y no genera datos útiles durante el procesamiento. DDN dice que puede evitar tales retrasos utilizando un flujo de datos y un almacenamiento en caché cuidadosos.
Se acerca un gran anuncio, dice DDN
DDN ya tiene un aspecto en el juego de la IA, y entre sus clientes se incluye xAI de Elon Musk, que ha implementado una supercomputadora llamada Colossus con 100.000 GPU H100. Así pues, el propósito de los nuevos 300 millones de dólares no está del todo claro.
Es probable que Blackstone se esté posicionando en una serie de iniciativas centradas en la IA y ahora tiene un miembro en la junta directiva de DDN. El año pasado, el fondo brindó apoyo financiero a Corewave, un proveedor de infraestructura como servicio centrado en la inteligencia artificial.
DDN promete un gran anuncio el 20 de febrero, que comienza con el lema: “Estamos haciendo que la IA sea real”.
