Szoftverfejlesztőként gyakran felmerül a kérdés, hogy melyik operációs rendszer képes hatékonyabban futtatni helyi, nagy nyelvi modelleket: Windows, Linux vagy esetleg a két világot ötvöző WSL? A videó éppen ezt a mindennapi dilemmát járja körül, valódi hardveres példákon keresztül, és bemutatja, hogyan lehet ugyanazzal a számítógéppel tesztelni a különböző környezeteket.

Különféle nagy nyelvi modellek – például a Gemma 34B – teljesítményét hasonlítja össze Windows, WSL és „bare metal” (natív) Ubuntu alatt, miközben figyel a GPU-memóriahasználatra, a másodpercenként számított tokenek számára és a rendszerhasználatra.

Az összehasonlítás során felmerül a kérdés, hogy mennyit számít, ha közvetlenül a hardverre (bare metal) telepített Linuxot használunk Windows vagy WSL helyett. Milyen különbségeket tapasztalhatunk a különböző modellek esetében a különféle operációs rendszerek alatt, és hogyan befolyásolják az eredményeket a hardverek – például a különböző Nvidia GPU-k?

Szóba kerülnek a különféle programozási lehetőségek is, például az LM Studio CLI használata, amelynek segítségével a modellek programozottan betölthetők és lekérdezhetők. Az egész tesztsorozat rámutat, hogy akár egyetlen gépen is jelentősen eltérhet a teljesítmény platformonként, illetve hogy egyes modellek hogyan birkóznak meg a hardveres korlátokkal.

[h]
[t] Windows Handles Local LLMs… Before Linux Destroys It [/t]
[n] Alex Ziskind [/n]
[k] LLM, windows, linux, WSL, GPU, teljesítmény, LM Studio, Nvidia, Ubuntu [/k]
[p] Alex [/p]
[b] Nvidia, Surfshark, Ubuntu, LM Studio, Llama, Gemma, Deepseek [/b]
[s] Nvidia RTX 5080, Nvidia RTX 5090, Nvidia RTX Pro 6000, AMD Ryzen AI Max Plus 395, Gemma 34B, Gemma 3 12B, Quen 7B, Quentu coder 14B, QWQ 32B, Llama 3.21B, Deepseek R1 distill [/s]
[c] technológia [/c]
[/h]