je po navedbah članka mogoče gostiti lokalno, vendar zahteva zmogljiv večgrafični strežnik, ne običajnega osebnega računalnika.
Vir: »How to Run DeepSeek-V4.1-Flash Locally?« — https://www.cometapi.com/how-to-run-deepseek-v4-1-flash-locally/
BISTVO
– Lokalno gostovanje omejuje predvsem pomnilnik: članek navaja približno 511 GB modelskih uteži na disku in izhodiščno oceno 614 GB uporabnega grafičnega pomnilnika, zato kot realistično konfiguracijo izpostavlja strežnik z osmimi pospeševalniki NVIDIA H200.
– Za produkcijsko postavitev članek daje prednost vLLM, kot alternativo predstavlja SGLang, pri Ollami pa opozarja, da ukaz z oznako :cloud uporablja oblak in ne izvaja celotnega modela na uporabnikovem računalniku.
– Lastno gostovanje je po avtorjevem mnenju smiselno predvsem za zasebne podatke, omrežno izolirana okolja, raziskovanje uteži in stalno visoko obremenitev; za običajne aplikacije je gostovani API preprostejša možnost.
DEJSTVA
– Arhitektura in velikost: model naj bi uporabljal mešanico strokovnjakov oziroma MoE ter zasnovo Causal Encoder-Decoder s 552 milijardami parametrov; pri obdelavi vhodnega besedila je aktivnih 8 milijard, pri ustvarjanju odgovora pa 16 milijard parametrov.
– Kontekst in vhodni podatki: članek navaja največ 1.048.576 žetonov konteksta, besedilni in slikovni vhod, besedilni izhod ter globalni predpomnilnik KV velikosti 890 bajtov na žeton; uteži naj bi bile dostopne na Hugging Face pod licenco MIT.
– Zahtevana infrastruktura: celotna zbirka uteži meri približno 476 GiB oziroma 511 GB, ocena 614 GB grafičnega pomnilnika pa vključuje dodatne potrebe izvajalnega okolja; dejanske zahteve so odvisne tudi od dolžine konteksta, sočasnih zahtev in podpore slikam.
Zakaj majhno število aktivnih parametrov ne pomeni majhnega modela
– Osrednja razlaga članka je razlika med računskim delom in shranjevanjem uteži. Usmerjanje MoE za posamezen žeton izbere le del strokovnjakov, vendar mora izvajalno okolje še vedno dostopati do celotnega nabora možnih uteži. Podatek »8B aktivnih parametrov« zato ne pomeni, da model potrebuje samo 8 GB pomnilnika.
– Manjši predpomnilnik KV pomaga pri dolgih kontekstih, vendar ne odpravi glavne pomnilniške obremenitve. Članek navaja zmanjšanje s 3.514 na 890 bajtov na žeton glede na V4 Flash, približno za faktor 3,9; pri načrtovanju strežnika pa še vedno prevladuje velikost modelskih uteži.
– Po predstavljeni oceni ena RTX 4090 ali RTX 5090 in tudi dve do štiri potrošniške grafične kartice ne zadoščajo za uradni celotni model. Kombinacijo 512 GB sistemskega pomnilnika z delnim prenosom obdelave na GPU članek označuje kot eksperimentalno, ne kot preverjeno produkcijsko rešitev.
Kako članek opisuje postavitev
– Najprej zahteva Linux, Docker, NVIDIA Container Toolkit, ustrezno večgrafično konfiguracijo in dovolj prostora na SSD. Začasne datoteke in dodatni artefakti izvajalnega okolja pomenijo, da mora biti prostega prostora občutno več kot samo 511 GB.
– Nato predvidi prenos uteži iz repozitorija deepseek-ai/DeepSeek-V4.1-Flash ter zagon dovolj nove slike vllm/vllm-openai:nightly. Primer uporablja osem grafičnih procesorjev, strežnik na vratih 8000 in API, združljiv z OpenAI. Avtor opozarja, da mora stopnja tenzorske vzporednosti ustrezati dejanski konfiguraciji strojne opreme.
– Za začetni preizkus primer omeji kontekst na 131.072 žetonov in z možnostjo –language-model-only izključi obdelavo slik. Polni milijonski kontekst predlaga šele po stabilnem zagonu. Delovanje nato preveri s klicem curl ali s knjižnico OpenAI za Python.
Zmogljivosti in najpogostejše težave
– Članek model predstavlja predvsem kot izboljšavo za programske agente, delo v terminalu, avtomatizacijo in analizo programske kode. Med navedenimi rezultati so 74,2 pri DeepSWE v1.1, 88,1 pri CyberGym in ocena 3471 pri Codeforces. Izrecno opozarja, da gre za rezultate proizvajalca, ne za zagotovljeno zmogljivost v uporabnikovih aplikacijah.
– Dolg zagon povezuje s prenosom, nalaganjem in razdeljevanjem približno pol terabajta uteži. Pomanjkanje pomnilnika povezuje z velikostjo celotnega modela, nastavitvami vzporednosti, kontekstom in morebitnim nalaganjem slikovnega kodirnika.
– Prazen ali prekinjen odgovor lahko po članku povzroči način razmišljanja, ki porabi dovoljeno število izhodnih žetonov pred končnim odgovorom. Pri napačno razčlenjenih klicih orodij izpostavlja ustrezne nastavitve razčlenjevalnikov; pri nedelujočem slikovnem vhodu pa preverjanje, ali je bila slikovna podpora namenoma izključena.
– Stran poleg tehničnih navodil promovira lastni API CometAPI. Njeno primerjavo lokalnega gostovanja in oblaka je zato smiselno razumeti kot tehnično predstavitev s komercialnim namenom: gostovani API zmanjša infrastrukturno delo, lastna postavitev pa omogoča več nadzora nad utežmi in obdelavo podatkov.