- Motorola Edge 50 Neo - az egyensúly gyengesége
- Amazfit Active 2 NFC - jó kör
- Honor Magic5 Pro - kamerák bűvöletében
- OnePlus 15 - van plusz energia
- Fotók, videók mobillal
- iPhone topik
- Google Pixel 7a - venni vagy nem venni?
- Elődje legnagyobb hibáját javítja az iPhone 17e
- Android szakmai topik
- Bőrkötésű belépő a Samsungtól
Új hozzászólás Aktív témák
-
ddekany
nagyúr
válasz
Mp3Pintyo
#12
üzenetére
Túl könnyű feladatok. De ha már YouTube, kivárom mit mond az AI Explained. (Ha magyar nyelvű csatornákra szűkítesz, eleve a választék valami töredék ezrelékéből választasz, ami furcsa.)
Amúgy meg mostani AI-oknál nagyon számít, hogy mire használod, mivel mind eléggé korlátos. Ha pl. azt látjuk, hogy Cursor-ban ezt használják R1 vagy Calude helyett, munkára(!), na az valami. Főleg ha agent módban nem vérzik el, az nagyon meglepő lenne.
-
ddekany
nagyúr
Na várjunk... DeepSeek-nél a nagyobb context window lehet, hogy nem is ad hozzá sokat VRAM igényhez, a KV cache-el kapcsolatos újításuk miatt. A tipikus "distilled" modelleknél (amik inkább meglévők fine tuning-ai) ez az újítás értelemszerűen nincs. A Unsloth félére már viszont vonatkozik (feltételezem), szóval akkor lehet, hogy tudsz jó nagy context lenght-et beállítani.
-
ddekany
nagyúr
Na ja, csak ez a sokkal olcsóbb memória sokkal lassabb is. A H100 meg MI300 ára persze azért is elmebeteg, mert alkalmasak arra, hogy rakás klienst kiszolgálj velük, azaz azok "ipari" termelőeszközök, amiknek mindig is magas volt az ára, az átlagember otthonra szánt cuccaihoz képest.
Valójában az lenne a jó üzlet nekünk, ha az nVidia nem szívózna azzal, hogy kevés VRAM-ot rak a halandóknak szánt videókártyáira, de hát ugye nem ettek meszet. (Persze aztán majd még jöhet a Digits és társai.)
-
ddekany
nagyúr
QwQ-32B az nagyon új fejlemény (bár előzetes már volt pár hónapja), és meglepne, ha a gyakorlatban is megütné azt a szintet mint az R1. Másfelől viszont, azt simán elhinném, hogy 1-2 éven belül egy 32B-s model tudni fogja aszt, amit most egy ~671B-s... és ahhoz képest nem totál lehetetlen, hogy ez már most van.
-
S_x96x_S
addikt
Akit érdekel a helyi LLM modellek futtatása
--> https://prohardver.hu/tema/ai_mi_mesterseges_inteligencia_topik/friss.html------
https://x.com/alexocheema/status/1897349404522078261
""
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M2 Ultra: 192GB @ 800GB/s, $5,000, $26.04 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
""
"""
NVIDIA H100 (80GB): $8.33 per GB/s
AMD MI300X (192GB): $3.77 per GB/s
Apple M2 Ultra (192GB): $6.25 per GB/s
Apple M3 Ultra (512GB): $11.87 per GB/s
"" -
Mp3Pintyo
senior tag
QwQ-32B ami a tesztek szerint hozza az R1 szintjét nálam az otthoni gépen 25 token/sec és megoldotta a feladatot kb 4 perc alatt. (Nvidia 3090)
A vicc az, hogy már a 20. másodperc környékén is megválaszolta de olyan sokszor ellenőrízte újra és újra magát mnden egyes lehetőséget figyelembe véve, hogy végül 4 percig tartott. -
-
ddekany
nagyúr
DeepSeek R1 esetén, ami rengeteg tétovázós kimenetet generál, 2K nagyon kevésnek tűnik. Persze feladat függő, de azt mondanám, az szinte mindenre kevés. 16K körül meg már felfut 500GB-re VRAM igény. Meg persze ez, amivel kalkulálsz, eleve egy erősen összenyomott változat, és bár a készítők azt állítják, hogy szinte észrevehetetlen a különbség, én nem lennék optimista... a rendes R1-nek is még van mit fejlődnie megbízhatóság terén.
-
Mp3Pintyo
senior tag
Apple M3 Ultra chip 32 magos CPU‑val, 80 magos GPU‑val és 32 magos Neural Engine‑nel
512 GB egyesített memória
4 749 990 FtNem hangzik rosszul...
Az a memória már elég egy Unsloth's DeepSeek-R1 1.58-bit modellhez. (bár ez nem annyira jó minőségű)
Az Unsloth 2,51 bites dinamikus kvantálása állítólag szinte megkülönböztethetetlen a teljes modelltől. De akkor legalább ~ 150 GB RAM-ot ajánlott összesen. Az pedig bőven jó
Új hozzászólás Aktív témák
- Lenovo ThinkCentre M90q Gen 4 Tiny i7-13700 / 32GB DDR5 / 1TB NVMe / Wi-Fi 6E / Garancia
- Lenovo M920q Mini PC - Core i5 8600T - 16Gb ram - 512GB NVMe
- Bontatlan Intel Core ULTRA 9 285K (24mag!) + hűtött VRM-es Z890 alaplap! GAR/SZÁMLA (a Te nevedre)!
- Gamer PC / Intel i5 11400 / RX 6600XT 8GB / 16GB DDR4 / 500GB SSD /
- "Kicsi méregzsák" I7-6700k / 16gb ddr4 / Rtx 2060 Super 8gb/ 256gb ssd / 1tb Hdd
- GYÖNYÖRŰ iPhone 14 Pro Max 128GB Deep Purple -1 ÉV GARANCIA - Kártyafüggetlen, MS3791
- Acer Predator Helios 18 AI I9 ULTRA 9275HX, 192GB RAM, 2TB SSD, RTX 5080
- Dell XPS 9720 - i7 12th gen 27% ÁFÁS!
- LG 65G4 - 65" OLED evo - 4K 144Hz & 0.1ms - MLA Plus - 3000 Nits - NVIDIA G-Sync - FreeSync Premium
- GYÖNYÖRŰ iPhone 12 Mini 64GB Blue -1 ÉV GARANCIA - Kártyafüggetlen, MS4082, 90% Akksi
Állásajánlatok
Cég: Laptopműhely Bt.
Város: Budapest
Cég: Central PC számítógép és laptop szerviz - Pécs
Város: Pécs