Szoftverfejlesztőként gyakran felmerül a kérdés, hogy melyik operációs rendszer képes hatékonyabban futtatni helyi, nagy nyelvi modelleket: Windows, Linux vagy esetleg a két világot ötvöző WSL? A videó éppen ezt a mindennapi dilemmát járja körül, valódi hardveres példákon keresztül, és bemutatja, hogyan lehet ugyanazzal a számítógéppel tesztelni a különböző környezeteket.
Különféle nagy nyelvi modellek – például a Gemma 34B – teljesítményét hasonlítja össze Windows, WSL és „bare metal” (natív) Ubuntu alatt, miközben figyel a GPU-memóriahasználatra, a másodpercenként számított tokenek számára és a rendszerhasználatra.
Az összehasonlítás során felmerül a kérdés, hogy mennyit számít, ha közvetlenül a hardverre (bare metal) telepített Linuxot használunk Windows vagy WSL helyett. Milyen különbségeket tapasztalhatunk a különböző modellek esetében a különféle operációs rendszerek alatt, és hogyan befolyásolják az eredményeket a hardverek – például a különböző Nvidia GPU-k?
Szóba kerülnek a különféle programozási lehetőségek is, például az LM Studio CLI használata, amelynek segítségével a modellek programozottan betölthetők és lekérdezhetők. Az egész tesztsorozat rámutat, hogy akár egyetlen gépen is jelentősen eltérhet a teljesítmény platformonként, illetve hogy egyes modellek hogyan birkóznak meg a hardveres korlátokkal.
