DeepSeek open-sources DeepInfer, een inferencetool om AI-exploitatiekosten te verlagen

Het Chinese AI-bedrijf DeepSeek gaf DeepInfer op 20 oktober 2026 vrij op GitHub, waardoor het inferenceraamwerk openbaar werd gemaakt dat naar eigen zeggen al zijn eigen grootschalige productieservices ondersteunt. De software wordt onder de Apache 2.0-licentie gepubliceerd op github.com/deepseek-ai/DeepInfer, volgens SiliconANGLE en TechTarget.

Inference is de fase na het trainen van een model, wanneer het daadwerkelijk antwoorden op gebruikersvragen genereert. DeepSeek stelde in zijn release notes, zoals geciteerd door Gizmodo, dat het "ons productiestack deelt om de gemeenschap te helpen rekenkosten te verlagen, energieverbruik te verminderen en AI betaalbaarder te maken."

Wat doet DeepInfer

DeepInfer is een optimalisatielaag die speciaal voor het V4.1-Flash-model van DeepSeek is gebouwd, een systeem dat het bedrijf voor codering en agent-taken vermarktet, volgens Gizmodo en TechTarget. SiliconANGLE meldt dat een van DeepSeeks eigen productieclusters het raamwerk gebruikt om 155 biljoen tokens per dag te serveren.

Het raamwerk is gebaseerd op speculatieve decodering, een techniek waarbij een kleiner "concept"-model verschillende tokens van tevoren voorstelt terwijl het hoofdmodel deze in één keer controleert in plaats van elk token één voor één te genereren. SiliconANGLE, onder verwijzing naar DeepSeeks technische documentatie, beschrijft DeepSeeks specifieke versie van dit systeem, genaamd DSpark, waarbij een conceptmodel vijf tokens voorstelt terwijl een apart vertrouwensmechanisme voorspelt of het hoofdmodel ze zal accepteren; DeepSeek stelt dat dit onnodige verificatie met ongeveer 30% vermindert, wat leidt tot doorvoerwinsten van 4% tot 7% bij productiewerking.

De uitgebrachte code ondersteunt Nvidia's SM100 (Blackwell) GPU's en Huawei's Ascend 950 neural processing units, maar niet oudere Nvidia Hopper-generatie chips, volgens SiliconANGLE. TechTarget merkt op dat bedrijven die AI-modellen anders dan DeepSeek gebruiken, al vergelijkbare tools zoals Nvidia's TensorRT-LLM kunnen gebruiken, en dat DeepSeeks voortdurende afhankelijkheid van Nvidia-hardware naast Huawei-chips aangeeft dat Huawei Nvidia in sommige opzichten nog achter is, volgens het rapport.

Wat ontbreekt

DeepSeek heeft niet alles vrijgegeven dat nodig is om een volledige productieservice uit te voeren. SiliconANGLE meldt dat het bedrijf zijn sleutelwaardebeheersysteem en load-balancingcode inhield omdat deze nauw gekoppeld zijn aan DeepSeeks eigen interne infrastructuur, en dat een efficiënte implementatie nog steeds minimaal 128 GPU's vereist – 64 voor het verwerken van prompts en 64 voor het genereren van antwoorden. Deterministische uitvoerfuncties, die ervoor zorgen dat het model consistente antwoorden voor dezelfde invoer geeft, werken momenteel alleen op Nvidia-hardware, voegt het bericht toe.

Kostenvergelijking en reactie

Gizmodo meldt dat DeepSeek V4.1-Flash inprijst op $0,035 per miljoen invoertokens en $0,12 per miljoen uitvoertokens, vergeleken met de cijfers die het aanhaalt voor OpenAI's GPT-6 Astra-model van respectievelijk $10 en $50 voor dezelfde volumes; Gizmodo ziet de release als onderdeel van DeepSeek's druk op OpenAI en Anthropic. SiliconANGLE meldt afzonderlijk dat off-peak-prijzen op een cluster met DeepInfer ruwweg $38 aan inkomsten per GPU per uur kunnen genereren.

Omdia-analist Lian Jye Su vertelde TechTarget dat er aanzienlijke industriediscussies zijn over optimalisatie van tokengebruik, stellende dat tokenverbruik sterk is gestegen naarmate AI-adoptie groeit. TechTarget beschrijft analisten als de release zien als zowel een kostenoptimalisatiemaatregel als een geopolitieke poseringsmaatregel die ook Chinese chipAlternatieven naast Nvidia-hardware bevordert.

Achtergrond

SiliconANGLE meldt dat DeepInfer oorspronkelijk in april 2025 uit het open-sourceproject vLLM werd afgesplitst, nadat het bedrijf een volledige release op dat moment impracticaal vond. DeepSeek heeft eerder aandacht getrokken door goedkope, concurrerende AI-modellen vrij te geven, en de DeepInfer-release zet dit patroon voort door infrastructuursoftware in plaats van alleen een model open te stellen.

DeepSeek heeft gezegd dat het van plan is in de toekomst ondersteuning voor extra modellen aan het DeepInfer-raamwerk toe te voegen, volgens Gizmodo, hoewel geen tijdlijn is gegeven.