Het verrassend goedkope AI -model van Deepseek, Deepseek V3, heeft de AI -markt geschud en veroorzaakt aanzienlijke daling van de aandelenkoers van Nvidia. Terwijl Deepseek op trainingskosten van slechts $ 6 miljoen claimt, onthult een nadere blik een veel meer substantiële investering.
afbeelding: ensigame.com
De innovatieve architectuur van Deepseek V3 is de sleutel tot de prestaties. Het gebruikt:
- Multi-Token Prediction (MTP): voorspelt meerdere woorden tegelijkertijd, waardoor de nauwkeurigheid en efficiëntie worden verhoogd.
- Mix van experts (MOE): gebruikt 256 neurale netwerken, het activeren van acht voor elke verwerkingstaak, het versnellen van training en het verbeteren van de prestaties.
- Multi-head latente aandacht (MLA): Herhaaldelijk extraheert belangrijke details, het minimaliseren van informatieverlies en het verbeteren van nuance-begrip.
afbeelding: ensigame.com
De semianyse ontdekte echter het gebruik van Deepseek van ongeveer 50.000 NVIDIA -hopper GPU's - een aanzienlijke investering van in totaal ongeveer $ 1,6 miljard aan servers en $ 944 miljoen aan operationele kosten. Dit contrasteert scherp met de gepubliceerde $ 6 miljoen pre-trainingskosten, die onderzoek, verfijning, gegevensverwerking en infrastructuur weglaten.
Deepseek, een dochteronderneming van High-Flyer, een Chinees hedgefonds, bezit zijn datacenters en biedt controle en snellere innovatie. Zijn zelf gefinancierde status verbetert de behendigheid. Het bedrijf trekt toptalent aan, met sommige onderzoekers die jaarlijks meer dan $ 1,3 miljoen verdienen, voornamelijk van Chinese universiteiten.
afbeelding: ensigame.com
Hoewel Deepseek's $ 500 miljoen+ investering in AI -ontwikkeling aanzienlijk is, zorgt de mager structuur mogelijk voor efficiënte innovatie. Het cijfer van $ 6 miljoen is misleidend en vertegenwoordigt slechts een fractie van de totale kosten. Desondanks zijn de modellenopleidingskosten van Deepseek aanzienlijk lager dan concurrenten, zoals de geschatte $ 100 miljoen voor chatgpt4o, wat de kosteneffectiviteit benadrukt ten opzichte van reuzen in de industrie.
afbeelding: ensigame.com
Het succes van Deepseek toont het potentieel van goed gefinancierde onafhankelijke AI-bedrijven om effectief te concurreren. De prestaties ervan zijn echter geworteld in substantiële investeringen, technologische vooruitgang en een sterk team, geen revolutionair budget.
