AI WORLD HQ
¿Alguna vez has notado que un chat de IA se vuelve más lento cuando la conversación es muy larga? Parte del motivo está en la memoria, el espacio de trabajo a corto plazo dentro de los chips que hacen funcionar la IA. Esto es lo que explica la publicación oficial del blog de NVIDIA sobre el problema y por qué puede afectarte.
La escasez de memoria, explicada de forma sencilla
Una GPU (unidad de procesamiento gráfico) es el chip que realiza la mayor parte de los cálculos complejos de la IA. Funciona con HBM (memoria de gran ancho de banda), una memoria muy rápida situada justo al lado. Ese espacio rápido es limitado. NVIDIA afirma que la oferta se está reduciendo y que los precios están subiendo, y espera que esta tendencia continúe durante un tiempo.
Dos elementos ocupan ese espacio:
- Pesos del modelo: los números que contienen lo que la IA aprendió durante el entrenamiento.
- Caché KV (caché de clave-valor, las notas que la IA va tomando): el contexto que conserva para no tener que volver a procesar la misma información en cada respuesta.
NVIDIA señala tres tendencias que aumentan la presión. Los modelos son cada vez más grandes. Las conversaciones son cada vez más largas. Y los agentes (sistemas de IA que usan herramientas y dan varios pasos para alcanzar un objetivo) mantienen el contexto durante muchas llamadas. La empresa afirma que algunas tareas de los agentes procesan hasta 3 millones de tokens (pequeños fragmentos de texto que la IA lee y escribe). La RAG (generación aumentada mediante recuperación, que añade documentos relevantes a una pregunta antes de que la IA responda) añade todavía más información que procesar.
Por qué tener más memoria no es la solución completa
Imagina una cocina. La encimera está cerca y es rápida de usar, pero es pequeña. La despensa está más lejos y se tarda más en llegar, pero es mucho más grande. Un cocinero que solo añade espacio en la encimera seguirá esperando a que los ingredientes lleguen del almacén a los fogones.
NVIDIA describe una limitación similar en la IA. Cuando muchas personas comparten un sistema, la memoria puede dejar de enviar datos al chip a la misma velocidad a la que el chip puede utilizarlos. Los ingenieros llaman a esto la pared de la memoria. A partir de ese punto, añadir más memoria rápida aumenta el coste y el consumo de energía sin acelerar las respuestas.
Por eso, el enfoque de NVIDIA consiste en gestionar la memoria en todas las capas, no simplemente en añadir más.
Qué dice NVIDIA que está haciendo
NVIDIA llama a su estrategia codesarrollo de pila completa, lo que significa que diseña las GPU, las CPU, las redes, el almacenamiento y el software conjuntamente. La empresa también afirma que fue la primera en incorporar HBM3e y HBM4 a una plataforma de computación acelerada.
Sus principales ideas incluyen:
- Reservar la memoria rápida para lo que está activo. Los datos que se necesitan en ese momento permanecen cerca del chip, mientras que el resto se traslada a niveles más baratos y vuelve antes de que haga falta.
- Guardar los números en un formato más compacto. NVIDIA describe NVFP4, que, según afirma, ocupa menos espacio para los pesos del modelo que FP8 en su plataforma Hopper.
- Repartir los modelos grandes entre muchos chips. En un sistema NVL72, los pesos del modelo pueden distribuirse entre hasta 72 GPU, de modo que cada una almacena una parte más pequeña.
NVIDIA también comunica algunos resultados. Afirma que la capacidad HBM por GPU aumentó aproximadamente un 3 % de Blackwell Ultra a la plataforma Vera Rubin, mientras que el rendimiento de los agentes por dólar aumentó hasta 30 veces en la prueba de referencia AgentX de SemiAnalysis. Estas son afirmaciones de la empresa sobre sus propios sistemas, no garantías para una configuración concreta.
Por qué también importan los modelos abiertos
NVIDIA también promueve su familia de modelos abiertos Nemotron, que describe como diseñada para agentes de IA especializados que funcionan durante mucho tiempo. «Abierto» significa que los desarrolladores pueden examinar y aprovechar más elementos, no solo el programa terminado. Chris Alexiuk, ingeniero sénior de investigación de productos en NVIDIA que enseña a desarrolladores en YouTube, sostiene que la apertura debería incluir el acceso a los pesos del modelo, a los datos que lo respaldan y a los métodos de entrenamiento.
En resumen
La idea principal es sencilla: la IA funciona con una cantidad limitada de memoria rápida, y NVIDIA afirma que la solución consiste en utilizar mejor cada nivel, no solo en añadir más hardware. Los modelos abiertos aportan otra pieza, ya que permiten a los desarrolladores examinar y aprovechar las propias herramientas. Tu siguiente paso: visita el blog oficial de NVIDIA, busca el artículo completo sobre la memoria y lee la sección sobre los niveles de memoria para que estos términos te resulten familiares la próxima vez que los veas.