AI WORLD HQ
Puede que hayas visto una hoja de cálculo que muestra cuánto cuesta cada consulta a la IA y te hayas quedado tranquilo. Las cifras parecen ordenadas, pero pueden dejar fuera los costes que realmente se acumulan. Si apruebas herramientas de IA en el trabajo o simplemente quieres saber en qué se gasta el dinero de tu equipo, merece la pena entender esta idea.
La parte visible y la parte oculta
Un token es un pequeño fragmento de texto, aproximadamente una palabra o parte de una palabra, que un modelo de IA lee y escribe. Los proveedores suelen cobrar por tokens, así que es fácil controlar el «coste por token», el «coste por consulta» o el «coste por llamada al modelo».
La idea de Snowflake es que estas cifras son solo la punta del iceberg. Bajo la superficie se acumulan otros costes:
- Reintentos: la IA se equivoca, así que alguien vuelve a ejecutar la consulta, a veces varias veces.
- Alucinaciones: una alucinación ocurre cuando una IA se inventa algo con seguridad. Detectarlo requiere tiempo de una persona.
- Validación y trabajo repetido: alguien revisa el resultado y después lo corrige o lo vuelve a hacer.
- Resultados sin controles: respuestas que incumplen las normas internas y deben revisarse o descartarse.
El anuncio ofrece un ejemplo sencillo. Un modelo barato que necesita tres intentos puede costar más que otro un poco más caro que acierta a la primera.
Por qué el gasto sigue aumentando aunque bajen los precios
Snowflake cita el informe Stanford AI Index, según el cual el coste de la inferencia de IA —el trabajo de ejecutar un modelo para producir una respuesta— ha bajado más de un 99 % desde 2022. Sin embargo, la empresa también señala que, al caer los precios, el uso creció rápidamente. Cita un informe de OpenAI que indica que el consumo medio empresarial de tokens de razonamiento —los tokens que usa un modelo mientras resuelve un problema— aumentó unas 320 veces interanualmente.
En otras palabras, unas unidades más baratas pueden acabar generando una factura mayor cuando el uso se dispara. Snowflake plantea que la verdadera cuestión es cómo avanzar rápidamente con la IA sin que el gasto se descontrole, los beneficios sean escasos o aumenten los riesgos relacionados con los controles.
La importancia del contexto
La idea central de Snowflake es que el contexto —los datos empresariales que necesita una IA, como definiciones aprobadas, normas de seguridad y el origen de los datos— cambia la economía del sistema. Compara a un visitante en una ciudad, que pierde tiempo para orientarse, con una persona local que ya conoce los atajos.
En sus propias pruebas internas, la empresa informa de que la misma clase de modelo obtuvo resultados muy distintos según el contexto disponible. El enfoque con todo el contexto empresarial alcanzó un 86 % de precisión, frente al 47 % de un asistente sin contexto semántico y al 24 % de un agente general de programación. Snowflake afirma que añadir un contexto detallado apenas aumentó el coste por consulta, mientras que mejoró la precisión unas 3,6 veces. Estos son resultados de las pruebas comparativas de la empresa, así que debes considerarlos afirmaciones de Snowflake.
Qué medir en su lugar
Snowflake propone controlar el coste por resultado correcto y sujeto a controles. Sus ejemplos incluyen:
- Conversación con los datos: una respuesta basada en métricas aprobadas.
- Extracción de documentos: campos correctos extraídos en relación con el gasto.
- Atención al cliente: un problema resuelto correctamente, sin que el cliente tenga que volver a contactar.
- Gestión de pedidos: un pedido procesado con precisión, con las aprobaciones adecuadas y sin repetir el trabajo.
La empresa también recomienda definir las medidas de coste y valor antes de crear una herramienta de IA, no después.
En resumen
El coste de una consulta a la IA es solo una parte de la historia. Los reintentos, los errores y el trabajo repetido suelen representar el resto, y es fácil pasarlos por alto si solo vigilas el número de tokens. La propuesta de Snowflake es medir el coste de cada resultado correcto y fiable. Tu próximo paso puede ser sencillo: esta semana, elige una tarea de IA que uses en el trabajo o en casa y cuenta cuántos intentos hacen falta antes de que la respuesta sea utilizable.