DeepSeek abre código de DeepInfer, una herramienta de inferencia para reducir costos de IA

La empresa china de IA DeepSeek lanzó DeepInfer en GitHub el 20 de octubre de 2026, haciendo público el marco de inferencia que dice que ya potencia sus propios servicios de producción a gran escala. El software se publica bajo la licencia Apache 2.0 en github.com/deepseek-ai/DeepInfer, según SiliconANGLE y TechTarget.

La inferencia es la etapa después de que un modelo ha sido entrenado, cuando realmente genera respuestas a las indicaciones del usuario. DeepSeek dijo en sus notas de lanzamiento, según lo citado por Gizmodo, que está "compartiendo nuestra pila de producción para ayudar a la comunidad a reducir costos de computación, reducir el uso de energía y hacer que la IA sea más asequible".

Qué hace DeepInfer

DeepInfer es una capa de optimización construida específicamente para el modelo V4.1-Flash de DeepSeek, un sistema que la empresa comercializa para tareas de codificación y agentes, según Gizmodo y TechTarget. SiliconANGLE informa que uno de los propios clústeres de producción de DeepSeek utiliza el marco para servir 155 billones de tokens al día.

El marco se basa en decodificación especulativa, una técnica en la que un modelo de "borrador" más pequeño propone varios tokens con anticipación mientras el modelo principal los verifica en una sola pasada en lugar de generar cada token uno por uno. SiliconANGLE, citando la documentación técnica de DeepSeek, describe la versión específica de este sistema de DeepSeek, llamada DSpark, en la que un modelo de borrador propone cinco tokens mientras un mecanismo de confianza separado predice si el modelo principal los aceptará; DeepSeek dice que esto reduce la verificación innecesaria en aproximadamente un 30%, produciendo ganancias de rendimiento del 4% al 7% bajo cargas a escala de producción.

El código lanzado es compatible con las GPU SM100 (Blackwell) de Nvidia y las unidades de procesamiento neural Ascend 950 de Huawei, pero no con los chips de generación Hopper más antiguos de Nvidia, según SiliconANGLE. TechTarget señala que las empresas que ejecutan modelos de IA distintos al de DeepSeek ya pueden usar herramientas comparables como TensorRT-LLM de Nvidia, y que la continua dependencia de DeepSeek del hardware de Nvidia junto con los chips de Huawei indica que Huawei aún se queda atrás de Nvidia en algunos aspectos, según el informe.

Qué se dejó de lado

DeepSeek no ha lanzado todo lo necesario para ejecutar un servicio de producción completo. SiliconANGLE informa que la empresa retuvo su sistema de gestión de caché de clave-valor y código de equilibrio de carga porque están estrechamente acoplados a su infraestructura interna, y que una implementación eficiente aún requiere un mínimo de 128 GPU, 64 dedicadas al procesamiento de indicaciones y 64 a la generación de respuestas. Las características de salida determinista, que hacen que el modelo devuelva respuestas consistentes para la misma entrada, actualmente funcionan solo en hardware de Nvidia, agrega la fuente.

Comparación de costos y reacción

Gizmodo informa que DeepSeek fija el precio de V4.1-Flash en $0,035 por millón de tokens de entrada y $0,12 por millón de tokens de salida, en comparación con las cifras que cita para el modelo GPT-6 Astra de OpenAI de $10 y $50 respectivamente por los mismos volúmenes; Gizmodo presenta el lanzamiento como parte de DeepSeek ejerciendo presión sobre OpenAI y Anthropic. SiliconANGLE informa por separado que el precio fuera de horas punta en un clúster ejecutado por DeepInfer puede generar aproximadamente $38 en ingresos por GPU por hora.

El analista de Omdia Lian Jye Su le dijo a TechTarget que hay una considerable discusión en la industria sobre la optimización del uso de tokens, señalando que el consumo de tokens ha aumentado bruscamente a medida que crece la adopción de IA. TechTarget describe a los analistas como viendo el lanzamiento tanto como un movimiento de optimización de costos como como un esfuerzo de posicionamiento geopolítico que también promueve alternativas de chips chinos junto con hardware de Nvidia.

Antecedentes

SiliconANGLE informa que DeepInfer se derivó originalmente del proyecto de código abierto vLLM en abril de 2025, después de que la empresa encontrara un lanzamiento completo impracticable en ese momento. DeepSeek ha atraído previamente la atención por lanzar modelos de IA competitivos y de bajo costo, y el lanzamiento de DeepInfer continúa ese patrón al abrir software de infraestructura en lugar de solo un modelo.

DeepSeek ha dicho que planea agregar soporte para modelos adicionales al marco de DeepInfer en el futuro, según Gizmodo, aunque no se ha dado ningún cronograma.