Új hozzászólás Aktív témák

• #3 ddekany veterán julius666 #1

  Új Válasz 2025-07-31 12:30:42 #3

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz julius666 #1 üzenetére

  Az újdonság annyi, értelmezésem szerint, hogy eddig max 96 GB-t érthetett el a GPU/NPU. Most meg gondolom ki/be mappel részeket a 96 GB-s ablakból, attól függően, hogy melyik expertek aktívak. Ami talán a llama.cpp-ben megvalósított trükk, és ennyiben kapcsolódik a LLM Studio-hoz (ami egy a sok közül, ami arra épít).

  Persze elég necces, amikor a 128 GB-d van összesen, és ebből 96GB-nél nagyobb a model + context... Ráadásul ez forrasztott RAM, nem bővíthető, szóval rendesen megkérik majd az árát biztosan.

• #2 freeapro senior tag julius666 #1

  Új Válasz 2025-07-31 12:18:36 #2

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  freeapro

  senior tag

  válasz julius666 #1 üzenetére

  Kevered a szezont a fazonnal. Konzumer pc-n a gpu vram volt a korlát, ami 24GB, vagy a méregdrága 5090 esetén 32GB. Ami ebbe nem fért bele, az a CPU-n <1 token/s sebességgel futott. Ráadásul a vram korlátba nem csak a modellnek, hanem a contextnek (modell input / output) is bele kell férni, az utóbbi méretét agentek miatt kellett növelni.

Új hozzászólás Aktív témák