Új hozzászólás Aktív témák

• #30 S_x96x_S addikt Raymond #28

  Új Válasz 2025-02-26 14:31:44 #30

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Raymond #28 üzenetére

  > Az hogy inference kozben kevesebb az aktiv
  > az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod.

  A clustert erre találták ki. (+ exo, zml és társai )

  És az nvidia Digits -nek is hasonló memória sávszélje lesz 128GB -al. ( ~ 260 Gb/s ; legalábbis meglepő lenne ha többet tudna )
  és amit szintén lehet clusterezni:
  "High performance networking enables connecting two Project DIGITS systems together to work with AI models up to 405 billion parameters."
  Persze a Digits -ről csak márciusban lesz pontosabb infó.

  Ami te mondasz hogy csak a 64 GB-nak van értelme
  az főleg a Laptopokra lehet igaz - mert azokat nem szokták clusterezni
  ( persze kivétel mindig van )

  a Strix Halo - a 16 full Zen5-ös AVX-512 -CPU -val tudományos számításokra is
  jó, De még játszani is lehet vele ..
  Vagyis egy mindenre is jó univerzális workstation lehet.

  -----------

  Vagyis a 128GB Mem előnye, hogy könnyebb skálázni.

  https://frame.work/hu/en/desktop?tab=machine-learning
  ""
  NEED A CLUSTER?

  Framework Desktop has 5Gbit Ethernet along with two USB4 ports, allowing networking multiple together to run even larger models with llama.cpp RPC. With a Mini-ITX form factor, you can also pick up the Mainboard on its own and build it into your own mini-racks or standard rackmount server cases for high density.
  ""

  
  És ha valakinek csak az alapok kellenek - akkor
  6-8 db - "Ryzen™ AI Max+ 395 - 128GB" alaplap
  6-8 x 829,990 Ft
  összekötve már elég nagy modelleket is tud futtatni.

Új hozzászólás Aktív témák