Új hozzászólás Aktív témák

• #41 Raymond titán Kristof93 #37

  Új Válasz 2025-03-08 12:16:57 #41

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz Kristof93 #37 üzenetére

  Nocsak, ezt nem is lattam...

  Nem en vagyok eltevedve hanem te. A kontextus is jo lett volna ha megnezed. Itt arrol volt szo hogy egy rakat 256GB/s savszelt tudo 128GB-os gepet osszekotni hogy a nagy modellek menjenek. Ennek nincs ertelme az eszmeletlen ara miatt. Produktiv kornyezetben ezt nem csinalod mert a teljesitmeny csapnivalo, ezt max jatszadozasra es kiprobalasra jo (a kollega pl. a full Deepseek R1-et celozzta meg), oda meg nem fogsz 12-14K USD/EUR-t beleolni mert ugyanazt megkapod ennek az arnak a toredekeert. A Strix Halo-nal lathato 256bit DDR5-8000 alltal adott 256GB/s megvan a 8-12 csatornas szever platformoknal is ahol egy darab gepbe belerakod a szukseges 512-768GB RAM-t es a komplett ar a toredeke lesz a 6x Framework gepek aranak. Ha jobban megerolteted magad es turelmes vagy akkor 1-2 darab Framework gep araert megvan a 12 csatornas gep 768GB RAM-al.

• #35 Raymond titán S_x96x_S #34

  Új Válasz 2025-02-26 17:23:04 #35

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz S_x96x_S #34 üzenetére

  Csak hogy vilagos legyen pedig mar irtam regebben. Fantasztikus hogy tudsz giglizni es hasznalni az internetet, de sokat segitene ha ertened is amit olvasol es megertened az osszefuggeseket. Ez a resz egyelore nagyon nagyon hianyos. Case in point:

  "Az én FANTÁZIÁMBAN a lokális Deepseek R1 futtatása a cél.
  Ami egy MoE - és nem árt hozzá több 128GB-os Strix Halo"

  Ezt igy bughatod, mivel tobbe kerul es tobb a limitacio (clusteringnek hala) mint egy magasabb sebesseget elero sima 2U szerver lenne telepakolva RAM-al.

• #31 Raymond titán S_x96x_S #30

  Új Válasz 2025-02-26 14:38:34 #31

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz S_x96x_S #30 üzenetére

  O RLY?

  1. nem errol beszeltel hanem a 128GB-rol, tehat egy gep, foleg abban a kontextusban
  2. ha mar ott tartasz hogy 6+ darab kell akkor ez eleve nem opcio mert 12K nyugati penzert inkabb egy 2U server egy 8 vagy 12 csatornas vezerlovel es 1TB+ RAM-al

  Szerk: egyebkent nem azt mondtam hogy *csak* a 64GB-nak van ertelme, olvasd el meg egyszer mit irtam ott. Foleg ugy hogy nem cluster-rol volt szo.

• #28 Raymond titán S_x96x_S #27

  Új Válasz 2025-02-26 14:09:47 #28

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz S_x96x_S #27 üzenetére

  Hiaba latsz benne fantaziat ha nincs olyan MoE ami belefer a 128 vagy a 192GB-ba a most mar lassan matuzsalemnek nevezheto Mixtral-on kivul. Az hogy inference kozben kevesebb az aktiv az a memoriameret igenyeknel lenyegtelen mert a komplett cuccot be kell olvasnod.

• #25 Raymond titán S_x96x_S #24

  Új Válasz 2025-02-26 13:45:47 #25

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz S_x96x_S #24 üzenetére

  A RAM 75%-at tudja, tehat a 128GB modellnel 96GB. A 32GB-osnal pedig 24GB, ezt latni lehetett az Asus Flow teszteknel.

• #18 Raymond titán zhit86 #17

  Új Válasz 2025-02-26 12:38:52 #18

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz zhit86 #17 üzenetére

  Elorendelni lehet es egy azert aranylag savasnyu aprosag kimaradt meg:

  a jelek szerint majd valamikor Q3-ban szallitjak

  A nominalis savszel 256GB/s es benchmarkban amit valaki mert par napja olyan 220GB/s amit ki lehet belole hozni. Ez egyebkent nagyon jo efektivitas, sokkal jobb mint a sima DDR5 vagy DDR4 platformjaiknal.

• #16 Raymond titán

  Új Válasz 2025-02-26 12:29:06 #16

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  "A vállalat szerint a kedvelt Llama 3.3 70B Q6 LLM-mel valós időben lehet úgymond beszélgetést folytatni"

  Sure Meg a Q4-el is csak olyan 5-6 tok/s a sebesseg ami minden csak nem folyamatos beszelgetes.

  "Ez viszont a vállalat szerint még mindig sokkal olcsóbb a 4800 dollárért kérhető, 128 GB RAM-mal szerelt Apple Mac Studio konfigurációnál, ráadásul gyorsabb is nála."

  Csak ott almat hasonlitanak a kortehez (har har) raadasul nem gyorsabb annal a $4800 konfiguracional termeszetesen mert az mar M2 Max/Ultra vagy M4 Max az ujabb termekeknel. Amihez hasonlitani lehet teljesitmenyben az az M4 Pro-val szerelt gepek ahol 276GB/s a memoria savszel (vs. az ennel levo 256GB/s) es azokkal durvan egy arkategoria. Shocker! Valamivel olcsobb mert hat Apple tax, ennek a 128GB konfig ara van ott ahol a Mac Mini M4 Pro 64GB van. Ebbol is inkabb a 64GB-nal van ertelme mert a nagyobb modelleknel ahol a 128GB RAM (96GB VRAM) kene ott nem kapsz normalis sebesseget a limitalt savszel miatt.

  1279€ - Ryzen AI Max 385 (8C 8050S) 32GB
  1895€ - Ryzen AI Max+ 395 (16C 8060S) 64GB
  2329€ - Ryzen AI Max+ 395 (16C 8060S) 128GB

  Az 1895 kimondottan jo ar erte, a 48GB VRAM eleg a 70/72B Q4-nek is (40-42GB) es a sebesseg is kezdi a turheto hatart elerni alulrol (5-6 tok/s) ami speculativ decoding mellet akar 8-10 tok/s-re is feltornazhatja magat.

  Ha valakinek szukos lenne megis az a 64GB/48GB konfiguracio akkor ott a 128GB, de a felara eleg nagy. Persze meg mindig kisebb mint egy Apple cuccnal.

Új hozzászólás Aktív témák