Új hozzászólás Aktív témák

• #12 Mp3Pintyo HÁZIGAZDA ddekany #9

  Új Válasz 2025-03-06 21:20:48 #12

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  válasz ddekany #9 üzenetére

  Gyakorlat:
  A QwQ-32B tudása meglepő! A matek, kódolás és érvelés mestere? Ingyenesen használható saját gépen is.
  https://youtu.be/oSPJOU2LRkk

• #7 Mp3Pintyo HÁZIGAZDA ddekany #6

  Új Válasz 2025-03-06 12:20:53 #7

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  válasz ddekany #6 üzenetére

  QwQ-32B ami a tesztek szerint hozza az R1 szintjét nálam az otthoni gépen 25 token/sec és megoldotta a feladatot kb 4 perc alatt. (Nvidia 3090)
  A vicc az, hogy már a 20. másodperc környékén is megválaszolta de olyan sokszor ellenőrízte újra és újra magát mnden egyes lehetőséget figyelembe véve, hogy végül 4 percig tartott.

• #4 Mp3Pintyo HÁZIGAZDA ddekany #3

  Új Válasz 2025-03-06 00:20:23 #4

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  válasz ddekany #3 üzenetére

  https://llm-inference-calculator-rki02.kinsta.page/
  2048-assal

• #1 Mp3Pintyo HÁZIGAZDA

  Új Válasz 2025-03-05 18:41:27 #1

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  Apple M3 Ultra chip 32 magos CPU‑val, 80 magos GPU‑val és 32 magos Neural Engine‑nel
  512 GB egyesített memória
  4 749 990 Ft

  Nem hangzik rosszul...
  Az a memória már elég egy Unsloth's DeepSeek-R1 1.58-bit modellhez. (bár ez nem annyira jó minőségű)
  Az Unsloth 2,51 bites dinamikus kvantálása állítólag szinte megkülönböztethetetlen a teljes modelltől. De akkor legalább ~ 150 GB RAM-ot ajánlott összesen. Az pedig bőven jó

Új hozzászólás Aktív témák