2. Fórumok
  3. Videokártyák
  4. Az NVIDIA szerint a partnereik prémium AI PC-ket kínálnak
Keresés

Új hozzászólás Aktív témák

  • #31 Abu85 HÁZIGAZDA Moby #30
    Új Válasz #31
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    Abu85

    HÁZIGAZDA

    válasz Moby #30 üzenetére

    [link] - írtunk korábban róla, azt hittem olvastad.

    A rendszermemória másképp van kezelve, mint a VRAM. A VRAM felett az operációs rendszernek csak nagyon korlátozottan van felügyelete. Nincs is közvetlen hozzáférése a modernebb API-kkal, vagyis alapvetően a program határozza meg, hogy a VRAM hogyan van menedzselve. Ha rosszul, akkor az operációs rendszer csak széttárja a karját, mert nem tudja kijavítani a programkód jellegzetes hibáit a modernebb API-k működése miatti GPU kernel driver hiányában. Ezért van az, hogy amikor a rendszermemória betelik, akkor még simán működőképes marad a gép, vagyis nem fagy le, csak belassul, míg ha a VRAM betelik, akkor jön az out-of-memory üzenet, és leáll a program.

    A legnagyobb gond itt az, hogy az operációs rendszernek közvetlen kontrollja csak a rendszermemória felett van, így a VRAM csak egy leválasztott erőforrás. És mivel leválasztott, amit egy csomó OS komponens nem is lát, így nem is tud kárt okozni, ha betelik, tehát a Microsoft sem nagyon töri magát azon, hogy megoldja ezt a problémát. Volt régen egy nagy terv ennek a megoldására a WDDM 3.0-hoz, de sosem valósult meg. Nem tudom, hogy a Microsoft fejleszti-e még, vagy eltették a fiók mélyére.

    Egyébként senki sem írta, hogy az NVIDIA nem ír igazat a TOPS-ra nézve, csak elhallgatják a memória kérdését. Nyilván jó okkal. Az out-of-memory hibakóddal történő programösszeomlások a Microsoft szerint sem tekinthetők prémium élménynek. Ez a vezető oka annak, hogy a Microsoft is főleg az NPU-kra építi az AI PC-ket. Ha a GPU-k jók lennének, akkor tennének egy rakással az NPU-kra, mert eleve van egy bazinagy kiépített userbase a programoknak. De nem jók, ők ki tudják ezt próbálni a gyakorlatban.

  • #29 Abu85 HÁZIGAZDA Moby #3
    Új Válasz #29
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    Abu85

    HÁZIGAZDA

    válasz Moby #3 üzenetére

    Tök egyszerű a probléma. Ha nem fér bele a modell a VRAM-ba, akkor nem tud működni. A Microsoft a saját rendszereihez olyan modelleket készít, ami 16 GB memóriát igényel. Ezért kérték a gyártókat arra, hogy ennyi memória legyen az AI PC-kben. Ha a GPU-n fut a modell, ami lehetséges a DirectML-lel, akkor a VRAM-ból kell 16 GB. A Microsoft alapvetően egyiket sem akadályozza, 40 TOPS teljesítményt kér minimum. Teljesen mindegy, hogy integrált vagy GPU-val, esetleg NPU-val hozod, és legyen a hardver mellett 16 GB fedélzeti memória. Ezek a belépő követelmények.

    Természetesen a memória esetében fontos, hogy ha más is fut, akkor több memória kell vagy ajánlott. Tehát ha fut egy játék a GPU-n, és az elvisz 8 GB-ot, akkor még kell 16 GB memória a modellnek, tehát 24 GB-os GPU kell. Az NPU esetén annyival kedvezőbb a helyzet, hogy ott a rendszer fel van készítve arra, hogy esetleg fut más is az AI feladat mellett, tehát nem fog a GPU-khoz hasonlóan out-of-memory hibaüzenet jönni, hanem csak lassabb lesz az AI feladat feldolgozása. Jelentősen lassabb, és ezért nem ajánlja ezt a Microsoft. De technikailag a programfuttatás NPU-val garantált, ellentétben a dedikált GPU-kkal, csak nem lesz nagy élmény a memória szűkössége miatt.

    Alternatív lehetőségként ott vannak a szűk memóriára szabott modellek, de már kiderült, hogy ilyet a Microsoft nem fog kínálni, egyszerűen túl sok a limitáció velük, így inkább 16 GB-ban húzták meg a belépőt. Mellesleg ez egyáltalán nem sok, a memória kifejezetten olcsó, és az AI PC-kbe a gyártók lazán be tudnak dobni 16 GB RAM-ot. Valószínűleg jellemző lesz a 32 GB is, hogy izmozzanak, és nem itt fog elszállni egy notebook ára.

    #19 arn : Ne csak a mostani korlátozott dolgokban gondolkodj. Ott van a hibrid feldolgozás lehetősége is. Ezek azért nem reális irányok most, mert nincs meg a hardver, de az NPU-kkal meglesz. Az AI PC-kben lesz kellő tempó és kellő memória is. A mostani gépekben csak a TOPS van meg, de a memória nincs ott, ahol kellene.

  • #6 hapakj őstag Moby #3
    Új Válasz #6
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    hapakj

    őstag

    válasz Moby #3 üzenetére

    igen, ez eléggé csúsztatásnak hangzott. de lehet az AI PC azt jelenti, hogy vagy AI vagy PC. Egyszerre a két dolog nem működik. (csak nvidiaval ;])

Új hozzászólás Aktív témák