NVIDIA abre cuFile y organiza Storage-Next para atacar el cuello de botella de datos en IA

NVIDIA pone el almacenamiento en el centro del rendimiento de IA. Tras la conferencia Future of Memory and Storage, la compañía reforzó una tesis que cambia la conversación de infraestructura: no basta con acumular GPUs si los datos no llegan con suficiente velocidad y eficiencia. TechRadar informó el 8 de agosto que NVIDIA abrió sus API de cuFile y la pila de almacenamiento asociada, formalizó la iniciativa Storage-Next con más de 40 proveedores y presentó con mayor claridad SCADA, un marco que permite que las GPUs inicien accesos a almacenamiento sin depender del CPU para cada solicitud. El objetivo es reducir un cuello de botella cada vez más visible en inferencia.

cuFile y SCADA resuelven partes diferentes del camino de datos. cuFile forma parte de GPUDirect Storage y se utiliza para mover datos directamente entre almacenamiento y memoria de GPU mediante DMA, evitando copiar primero a la memoria principal del host. Sin embargo, el control de cada petición seguía residiendo en software ejecutado por CPU. SCADA traslada ese control hacia la GPU para escenarios con enormes cantidades de lecturas pequeñas y aleatorias. No sustituye a cuFile: ambos mecanismos se complementan. Uno optimiza transferencias de volumen; el otro busca reducir el costo de coordinar millones de operaciones diminutas.

El tamaño de las lecturas explica por qué el problema se volvió urgente. Muchos SSD empresariales fueron optimizados durante años para lecturas aleatorias de 4 KB, pero cargas modernas de inferencia pueden solicitar fragmentos de pocos cientos de bytes. TechRadar señala ejemplos como embeddings y bloques de KV cache por debajo de un kilobyte. Cuando el dispositivo procesa una solicitud de 512 bytes con un costo similar al de una de 4 KB, aparece amplificación y el CPU puede saturarse antes que la unidad. En sistemas grandes, ese desperdicio limita cuánto contexto y cuántos usuarios concurrentes puede atender cada GPU.

El KV cache convierte almacenamiento en una extensión práctica de memoria. El estado de atención acumulado durante una conversación crece con la longitud del contexto y con el número de sesiones simultáneas. Cuando no cabe en memoria de GPU, parte de ese estado puede desplazarse a memoria del sistema o flash y recuperarse después. Si volver a calcularlo consume más recursos que leerlo, la eficiencia del almacenamiento pasa a afectar directamente el costo de inferencia. Por eso NVIDIA está enfatizando IOPS a 512 bytes y no únicamente ancho de banda secuencial: la métrica correcta depende del patrón real de trabajo.

Abrir la interfaz busca crear un estándar que otros puedan implementar. NVIDIA movió cuFile a un esquema abierto con participación de compañías como Google, Intel y Meta como mantenedores fundadores, según TechRadar. Storage-Next reúne a más de 40 proveedores de flash y almacenamiento para coordinar hardware y software alrededor del acceso iniciado por aceleradores. La lógica económica es clara: una interfaz solo se vuelve infraestructura de facto si fabricantes de unidades, controladores y sistemas la adoptan. Abrir una capa que antes estaba ligada a CUDA reduce fricción para que el ecosistema invierta en compatibilidad.

La hoja de ruta todavía mezcla productos cercanos y objetivos futuros. TechRadar menciona sistemas de socios como DDN, Dell, HPE, IBM, VAST Data y WEKA previstos para la segunda mitad de 2026, además de unidades XL-Flash de Kioxia orientadas a acceso de 512 bytes. También cita una meta de SSD Gen7 capaces de sostener 100 millones de IOPS, descrita como objetivo de diseño y no como producto disponible hoy. Esa diferencia debe conservarse al evaluar infraestructura: una arquitectura anunciada, un sistema de socio en camino y una meta de rendimiento no tienen el mismo nivel de madurez ni deben entrar igual en un presupuesto.

Para una empresa, la compra inteligente empieza midiendo dónde se desperdicia la GPU. Antes de aumentar aceleradores, conviene observar utilización, tiempo esperando datos, latencia de lectura, tamaños de I/O, presión de KV cache y costo por sesión. Si el cuello está en almacenamiento o movimiento de datos, comprar más cómputo puede ampliar el gasto sin mejorar proporcionalmente la salida. La iniciativa de NVIDIA sugiere una disciplina más amplia: tratar la fábrica de IA como un sistema completo. Compute, memoria, red y almacenamiento deben medirse juntos, porque el componente más lento termina definiendo la productividad del activo más caro.