Új hozzászólás Aktív témák
-
ddekany
veterán
válasz
Mp3Pintyo
#12
üzenetére
Túl könnyű feladatok. De ha már YouTube, kivárom mit mond az AI Explained. (Ha magyar nyelvű csatornákra szűkítesz, eleve a választék valami töredék ezrelékéből választasz, ami furcsa.)
Amúgy meg mostani AI-oknál nagyon számít, hogy mire használod, mivel mind eléggé korlátos. Ha pl. azt látjuk, hogy Cursor-ban ezt használják R1 vagy Calude helyett, munkára(!), na az valami. Főleg ha agent módban nem vérzik el, az nagyon meglepő lenne.
-
ddekany
veterán
Na várjunk... DeepSeek-nél a nagyobb context window lehet, hogy nem is ad hozzá sokat VRAM igényhez, a KV cache-el kapcsolatos újításuk miatt. A tipikus "distilled" modelleknél (amik inkább meglévők fine tuning-ai) ez az újítás értelemszerűen nincs. A Unsloth félére már viszont vonatkozik (feltételezem), szóval akkor lehet, hogy tudsz jó nagy context lenght-et beállítani.
-
ddekany
veterán
Na ja, csak ez a sokkal olcsóbb memória sokkal lassabb is. A H100 meg MI300 ára persze azért is elmebeteg, mert alkalmasak arra, hogy rakás klienst kiszolgálj velük, azaz azok "ipari" termelőeszközök, amiknek mindig is magas volt az ára, az átlagember otthonra szánt cuccaihoz képest.
Valójában az lenne a jó üzlet nekünk, ha az nVidia nem szívózna azzal, hogy kevés VRAM-ot rak a halandóknak szánt videókártyáira, de hát ugye nem ettek meszet. (Persze aztán majd még jöhet a Digits és társai.)
-
ddekany
veterán
QwQ-32B az nagyon új fejlemény (bár előzetes már volt pár hónapja), és meglepne, ha a gyakorlatban is megütné azt a szintet mint az R1. Másfelől viszont, azt simán elhinném, hogy 1-2 éven belül egy 32B-s model tudni fogja aszt, amit most egy ~671B-s... és ahhoz képest nem totál lehetetlen, hogy ez már most van.
-
S_x96x_S
addikt
Akit érdekel a helyi LLM modellek futtatása
--> https://prohardver.hu/tema/ai_mi_mesterseges_inteligencia_topik/friss.html------
https://x.com/alexocheema/status/1897349404522078261
""
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M2 Ultra: 192GB @ 800GB/s, $5,000, $26.04 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
""
"""
NVIDIA H100 (80GB): $8.33 per GB/s
AMD MI300X (192GB): $3.77 per GB/s
Apple M2 Ultra (192GB): $6.25 per GB/s
Apple M3 Ultra (512GB): $11.87 per GB/s
"" -
Mp3Pintyo
HÁZIGAZDA
QwQ-32B ami a tesztek szerint hozza az R1 szintjét nálam az otthoni gépen 25 token/sec és megoldotta a feladatot kb 4 perc alatt. (Nvidia 3090)
A vicc az, hogy már a 20. másodperc környékén is megválaszolta de olyan sokszor ellenőrízte újra és újra magát mnden egyes lehetőséget figyelembe véve, hogy végül 4 percig tartott. -
-
ddekany
veterán
DeepSeek R1 esetén, ami rengeteg tétovázós kimenetet generál, 2K nagyon kevésnek tűnik. Persze feladat függő, de azt mondanám, az szinte mindenre kevés. 16K körül meg már felfut 500GB-re VRAM igény. Meg persze ez, amivel kalkulálsz, eleve egy erősen összenyomott változat, és bár a készítők azt állítják, hogy szinte észrevehetetlen a különbség, én nem lennék optimista... a rendes R1-nek is még van mit fejlődnie megbízhatóság terén.
-
Mp3Pintyo
HÁZIGAZDA
Apple M3 Ultra chip 32 magos CPU‑val, 80 magos GPU‑val és 32 magos Neural Engine‑nel
512 GB egyesített memória
4 749 990 FtNem hangzik rosszul...
Az a memória már elég egy Unsloth's DeepSeek-R1 1.58-bit modellhez. (bár ez nem annyira jó minőségű)
Az Unsloth 2,51 bites dinamikus kvantálása állítólag szinte megkülönböztethetetlen a teljes modelltől. De akkor legalább ~ 150 GB RAM-ot ajánlott összesen. Az pedig bőven jó
Új hozzászólás Aktív témák
Hirdetés
- A fociról könnyedén, egy baráti társaságban
- Xbox Series X|S
- PlayStation 5
- Elektromos autók - motorok
- Milyen autót vegyek?
- Synology NAS
- Nintendo Switch 2
- Windows 11
- Elektromos cigaretta 🔞
- Steam, GOG, Epic Store, Humble Store, Xbox PC Game Pass, Origin Access, uPlay+, Apple Arcade felhasználók barátságos izgulós topikja
- További aktív témák...
- Új Bontatlan Mac Studio M4 Max 2025 14cCPU /32cGPU / 36GB RAM / 512GB SSD - Azonnal Átvehető Deák.
- DDR5 GAMER PC: Új RYZEN 7 8700F/9700X/9800X3D +RTX 4060/5060/4070/5070 +16-64GB DDR5! GAR/SZÁMLA!
- Gamer PC - R5 5600, RTX 2070 és 16gb RAM
- PC 1060 6GB , i7-7800x , 32GB RAM
- AKCIÓ! GAMER PC: Új RYZEN 5 4500-5600X +RTX 3060/3070/3080 +Új 16-64GB DDR4! GAR/SZÁMLA! 50 FÉLE HÁZ
- AKCIÓ! AMD Ryzen 7 3800X 8mag 16szál processzor garanciával hibátlan működéssel
- Apple iPhone 13 . 128GB , Kártyafüggetlen , 100% akku
- 119 - Lenovo Legion Pro 5 (16ARX8) - AMD Ryzen 7 7745HX, RTX 4070 (48 hónap garancia!) (ELKELT)
- DELL PowerEdge R640 rack szerver - 2xGold 6138 (20c/40t, 2.0/3.7GHz), 64GB RAM,4x1G, H730 1GB, áfás
- Apple iPhone 14 128GB, Kártyafüggetlen, 1 Év Garanciával
Állásajánlatok
Cég: PC Trade Systems Kft.
Város: Szeged
Cég: Promenade Publishing House Kft.
Város: Budapest