Új hozzászólás Aktív témák

• #6 ddekany veterán nuke7 #5

  Új Válasz 2025-06-02 20:41:59 #6

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz nuke7 #5 üzenetére

  Ha csak 1 közepesen-kicsi model kell, akkor biztos gyorsabb egy 4090/5090. Persze egy 5090 meg ami alá kell már nem lesz olcsóbb, mint ez a komplett gép.

• #4 ddekany veterán zooly #2

  Új Válasz 2025-05-24 18:42:42 #4

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz zooly #2 üzenetére

  A memória sávszélesség gond lesz, ha olyan modellről beszélünk, ami méretre kihasználná ezt. Ha LLM-eket nézünk, talán a 14B-s (vagy MoE annyi active-al?) súlycsoport az, ami ilyen sávszélességgel használható sebességet ad? Az is csak ha nem "thinking". De lehet hogy valahol sok kicsi modellt akarnak egyszerre használni, vagy attól függetlenül is kell sok memória. De nagyon specifikus eset lehet, ahova pont ez kell.

• #1 ddekany veterán

  Új Válasz 2025-05-23 16:53:13 #1

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  A DGX Spark, ha minden igaz, 256-bit LPDDR5x, szóval kb. 250-300 GB/s memória sávszélesség. Kb. egy RTX 4050 és 4060 VRAM sávszél közt. HBM (vagy dedikált VRAM) nincs, csak közös memória. Ár 3000 $-tól (szóval csak nagyon kb. 1,2M Ft + áfa).

Új hozzászólás Aktív témák