Zaskakująco niedrogi model AI, Deepseek V3, wstrząsnął rynkiem AI, powodując znaczne spadki ceny akcji NVIDIA. Podczas gdy Deepseek twierdzi, że koszty szkolenia w wysokości 6 milionów dolarów, bliższe spojrzenie ujawnia znacznie bardziej znaczącą inwestycję.
Obraz: engame.com
Innowacyjna architektura Deepseek V3 jest kluczem do jej wydajności. Wykorzystuje:
- Prognozy wielu tokenów (MTP): Prognozuje wiele słów jednocześnie, zwiększając dokładność i wydajność.
- Mieszanka ekspertów (MOE): Zastosuje 256 sieci neuronowych, aktywując osiem dla każdego zadania przetwarzania, przyspieszając szkolenie i poprawiając wydajność.
- Uczciwa uwaga z wieloma głównymi (MLA): Wielokrotnie wyodrębnia kluczowe szczegóły, minimalizując utratę informacji i zwiększając zrozumienie niuansów.
Obraz: engame.com
Jednak semianaliza odkryła wykorzystanie Deepeeka około 50 000 GPU Nvidia Hopper - znaczące inwestycje o łącznej wartości około 1,6 miliarda dolarów na serwerach i 944 mln USD kosztów operacyjnych. Kontrastuje to gwałtownie z opublikowanymi kosztami przed treningiem w wysokości 6 milionów dolarów, co pomija badania, udoskonalenie, przetwarzanie danych i infrastrukturę.
Deepseek, spółka zależna od High-Flyer, chińskiego funduszu hedgingowego, jest właścicielem swoich centrów danych, zapewniając kontrolę i szybsze innowacje. Jego status samofinansowany zwiększa zwinność. Firma przyciąga najlepsze talenty, a niektórzy badacze zarabiają ponad 1,3 miliona dolarów rocznie, głównie z chińskich uniwersytetów.
Obraz: engame.com
Podczas gdy inwestycja Deepseek w wysokości 500 milionów dolarów w rozwój AI jest znaczna, jej szczupła struktura pozwala na wydajne innowacje. Liczba 6 milionów dolarów wprowadza w błąd, co stanowi jedynie ułamek całkowitego kosztu. Mimo to modelowe koszty szkolenia Deepseek są znacznie niższe niż konkurenci, takie jak szacowany 100 milionów dolarów na Chatgpt4o, podkreślając jego opłacalność w stosunku do gigantów branżowych.
Obraz: engame.com
Sukces Deepseek pokazuje potencjał dobrze finansowanych niezależnych firm AI do skutecznego konkurowania. Jednak jego osiągnięcia są zakorzenione w znacznych inwestycjach, postępach technologicznych i silnym zespole, a nie rewolucyjnym budżecie.
