- Itt a Galaxy S26 széria: az Ultra fejlődött, a másik kettő alig
- Xiaomi 17 Ultra - jó az optikája
- Mobil flották
- Samsung Galaxy S25 - végre van kicsi!
- Samsung Galaxy A56 - megbízható középszerűség
- Magisk
- Samsung Galaxy A54 - türelemjáték
- Apple iPhone 17e – mágnesek ereje
- Mégsem lesz Sony autó
- iPhone topik
Új hozzászólás Aktív témák
-
ddekany
nagyúr
válasz
Mp3Pintyo
#12
üzenetére
Túl könnyű feladatok. De ha már YouTube, kivárom mit mond az AI Explained. (Ha magyar nyelvű csatornákra szűkítesz, eleve a választék valami töredék ezrelékéből választasz, ami furcsa.)
Amúgy meg mostani AI-oknál nagyon számít, hogy mire használod, mivel mind eléggé korlátos. Ha pl. azt látjuk, hogy Cursor-ban ezt használják R1 vagy Calude helyett, munkára(!), na az valami. Főleg ha agent módban nem vérzik el, az nagyon meglepő lenne.
-
ddekany
nagyúr
Na várjunk... DeepSeek-nél a nagyobb context window lehet, hogy nem is ad hozzá sokat VRAM igényhez, a KV cache-el kapcsolatos újításuk miatt. A tipikus "distilled" modelleknél (amik inkább meglévők fine tuning-ai) ez az újítás értelemszerűen nincs. A Unsloth félére már viszont vonatkozik (feltételezem), szóval akkor lehet, hogy tudsz jó nagy context lenght-et beállítani.
-
ddekany
nagyúr
Na ja, csak ez a sokkal olcsóbb memória sokkal lassabb is. A H100 meg MI300 ára persze azért is elmebeteg, mert alkalmasak arra, hogy rakás klienst kiszolgálj velük, azaz azok "ipari" termelőeszközök, amiknek mindig is magas volt az ára, az átlagember otthonra szánt cuccaihoz képest.
Valójában az lenne a jó üzlet nekünk, ha az nVidia nem szívózna azzal, hogy kevés VRAM-ot rak a halandóknak szánt videókártyáira, de hát ugye nem ettek meszet. (Persze aztán majd még jöhet a Digits és társai.)
-
ddekany
nagyúr
QwQ-32B az nagyon új fejlemény (bár előzetes már volt pár hónapja), és meglepne, ha a gyakorlatban is megütné azt a szintet mint az R1. Másfelől viszont, azt simán elhinném, hogy 1-2 éven belül egy 32B-s model tudni fogja aszt, amit most egy ~671B-s... és ahhoz képest nem totál lehetetlen, hogy ez már most van.
-
S_x96x_S
addikt
Akit érdekel a helyi LLM modellek futtatása
--> https://prohardver.hu/tema/ai_mi_mesterseges_inteligencia_topik/friss.html------
https://x.com/alexocheema/status/1897349404522078261
""
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M2 Ultra: 192GB @ 800GB/s, $5,000, $26.04 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
""
"""
NVIDIA H100 (80GB): $8.33 per GB/s
AMD MI300X (192GB): $3.77 per GB/s
Apple M2 Ultra (192GB): $6.25 per GB/s
Apple M3 Ultra (512GB): $11.87 per GB/s
"" -
Mp3Pintyo
senior tag
QwQ-32B ami a tesztek szerint hozza az R1 szintjét nálam az otthoni gépen 25 token/sec és megoldotta a feladatot kb 4 perc alatt. (Nvidia 3090)
A vicc az, hogy már a 20. másodperc környékén is megválaszolta de olyan sokszor ellenőrízte újra és újra magát mnden egyes lehetőséget figyelembe véve, hogy végül 4 percig tartott. -
-
ddekany
nagyúr
DeepSeek R1 esetén, ami rengeteg tétovázós kimenetet generál, 2K nagyon kevésnek tűnik. Persze feladat függő, de azt mondanám, az szinte mindenre kevés. 16K körül meg már felfut 500GB-re VRAM igény. Meg persze ez, amivel kalkulálsz, eleve egy erősen összenyomott változat, és bár a készítők azt állítják, hogy szinte észrevehetetlen a különbség, én nem lennék optimista... a rendes R1-nek is még van mit fejlődnie megbízhatóság terén.
-
Mp3Pintyo
senior tag
Apple M3 Ultra chip 32 magos CPU‑val, 80 magos GPU‑val és 32 magos Neural Engine‑nel
512 GB egyesített memória
4 749 990 FtNem hangzik rosszul...
Az a memória már elég egy Unsloth's DeepSeek-R1 1.58-bit modellhez. (bár ez nem annyira jó minőségű)
Az Unsloth 2,51 bites dinamikus kvantálása állítólag szinte megkülönböztethetetlen a teljes modelltől. De akkor legalább ~ 150 GB RAM-ot ajánlott összesen. Az pedig bőven jó
Új hozzászólás Aktív témák
- ROG Core PC - ROG X570, Ryzen 7 3700X, 16Gb RGB, ROG RTX 2060 Super 8Gb, 500Gb M2 SSD - Windows 11
- !AKCIÓ! GAMER PC Intel Core i5-12600KF/ASRock - Z790 PRO RS/D4/MSI RTX 3080 Suprim X 10GB/32 GB DDR4
- Asztali PC , i5 12400F , RX 9060 XT , 16GB RAM , 1TB NVME
- Asztali PC , R5 8400F , RTX 3070 , 16GB DDR5 , 512GB NVME , 1TB HDD
- GMKtec NucBox K12 Mini PC - AMD Ryzen 7 H 255 - Új, bontatlan
- AKCIÓ! Lenovo Thinkpad L14 Gen 1 notebook - i5 10210U 16GB DDR4 512GB SSD Intel UHD GraphicsW11
- iPhone 11 Pro 64GB 100% (3hónap Garancia) - AKCIÓ
- AKCIÓ! Gigabyte Gaming RTX 3060Ti 8GB videokártya garanciával hibátlan működéssel
- Apple iPhone 17 Pro Max 256GB Cosmic Orange használt, karcmentes 100% akku Apple garancia 2026
- Részletfizetés. BankMentes. Kamatmentes. Új noblechairs EPIC FEKETE ARANY. 3 év garancia!
Állásajánlatok
Cég: Laptopműhely Bt.
Város: Budapest