Új hozzászólás Aktív témák

• #37 Kristof93 senior tag Raymond #35

  Új Válasz 2025-02-26 18:20:08 #37

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Kristof93

  senior tag

  válasz Raymond #35 üzenetére

  Teljesen el vagy tájolódva. A szerverbe annyi ramot pakolhatsz, amennyit csak szeretnél, abból úgy sem lesz vram. Ha a dedikált gpu azt kell használja akkor a sebesség és késleltetés a pcie-n keresztül ellehetetleníti az egészet. Nem szórakozásból pakolnak egyre több memóriát minden ai gyorsítóra és egyébb gpu-ra. Olyan szerver cpu amiben van egy gyors igpu pedig nem létezik.

• #36 S_x96x_S addikt Raymond #35

  Új Válasz 2025-02-26 18:03:27 #36

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Raymond #35 üzenetére

  túlragoztuk,
  Én elfogultan hiszek a sok VRAM -ban
  és nem lehet egyszerűen meggyőzni, hogy a 64GB jobb mint a 128GB

• #34 S_x96x_S addikt Raymond #31

  Új Válasz 2025-02-26 14:56:37 #34

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Raymond #31 üzenetére

  > O RLY?

  ( ahelyett hogy kérdeznél,
  túl sok előfelvetésed van, amelyeket nem validálász.
  a félreértések oka leggyakrabban ez. )

  Ezt te irtad: #28
  "Hiaba latsz benne fantaziat ha nincs olyan MoE ami belefer a 128 vagy a 192GB-ba a most mar lassan matuzsalemnek nevezheto Mixtral-on kivul. Az hogy inference kozben kevesebb az aktiv az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod."

  Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
  Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo

  > Foleg ugy hogy nem cluster-rol volt szo.

  ~ a fantáziámról volt szó ..

• #30 S_x96x_S addikt Raymond #28

  Új Válasz 2025-02-26 14:31:44 #30

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Raymond #28 üzenetére

  > Az hogy inference kozben kevesebb az aktiv
  > az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod.

  A clustert erre találták ki. (+ exo, zml és társai )

  És az nvidia Digits -nek is hasonló memória sávszélje lesz 128GB -al. ( ~ 260 Gb/s ; legalábbis meglepő lenne ha többet tudna )
  és amit szintén lehet clusterezni:
  "High performance networking enables connecting two Project DIGITS systems together to work with AI models up to 405 billion parameters."
  Persze a Digits -ről csak márciusban lesz pontosabb infó.

  Ami te mondasz hogy csak a 64 GB-nak van értelme
  az főleg a Laptopokra lehet igaz - mert azokat nem szokták clusterezni
  ( persze kivétel mindig van )

  a Strix Halo - a 16 full Zen5-ös AVX-512 -CPU -val tudományos számításokra is
  jó, De még játszani is lehet vele ..
  Vagyis egy mindenre is jó univerzális workstation lehet.

  -----------

  Vagyis a 128GB Mem előnye, hogy könnyebb skálázni.

  https://frame.work/hu/en/desktop?tab=machine-learning
  ""
  NEED A CLUSTER?

  Framework Desktop has 5Gbit Ethernet along with two USB4 ports, allowing networking multiple together to run even larger models with llama.cpp RPC. With a Mini-ITX form factor, you can also pick up the Mainboard on its own and build it into your own mini-racks or standard rackmount server cases for high density.
  ""

  
  És ha valakinek csak az alapok kellenek - akkor
  6-8 db - "Ryzen™ AI Max+ 395 - 128GB" alaplap
  6-8 x 829,990 Ft
  összekötve már elég nagy modelleket is tud futtatni.

• #29 S_x96x_S addikt Raymond #25

  Új Válasz 2025-02-26 14:12:32 #29

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Raymond #25 üzenetére

  > A RAM 75%-at tudja, tehat a 128GB modellnel 96GB.
  > A 32GB-osnal pedig 24GB, ezt latni lehetett az Asus Flow teszteknel.

  remény van - hogy ez egy sw -res limit és nem hw-res :
  - "96GB on windows, 112GB on Linux" ( via Reddit - random 80 upvotos válasz )

• #27 S_x96x_S addikt Raymond #16

  Új Válasz 2025-02-26 13:58:06 #27

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Raymond #16 üzenetére

  > 64GB-nal van ertelme mert a nagyobb modelleknel ahol
  > a 128GB RAM (96GB VRAM) kene ott nem kapsz
  > normalis sebesseget a limitalt savszel miatt.

  a Mixture of Experts (MoE) vagy (MoTE) modelleknél
  ( mint amilyen DeepSeek R1 , GPT-4, Mistral ...)
  sokkal kevesebb paraméter aktiv; vagyis a sávszél kevésbé gond.

  vagyis én a nagyobb VRAM -ban több fantáziát látok. ( Go 128GB , 196 GB ... )

Új hozzászólás Aktív témák