- Samsung Galaxy Watch5 Pro - kerek, de nem tekerek
- Milyen okostelefont vegyek?
- Hat év támogatást csomagolt fém házba a OnePlus Nord 4
- Telekom mobilszolgáltatások
- Sony Xperia 1 VII - Látod-e, esteledik
- Samsung Galaxy Z Fold7 - ezt vártuk, de…
- Samsung Galaxy S22 és S22+ - a kis vagány meg a bátyja
- Honor Magic5 Pro - kamerák bűvöletében
- Sony Xperia 1 VI - egyből hat
- Netfone
Hirdetés
Új hozzászólás Aktív témák
-
Mert az online ChatGPT az egy teljes modell, ami iszonyat számítási kapacitást igényel, mert több száz vagy ezer gigabájtos. Míg én a DeepSeek legbutább disztillált változatát futtattam, amit még egy Rasberry Pi is képes használható sebességgel futtatni, mert mindösszesen kb 1.1 GB az egész.
-
#49
lezso6
HÁZIGAZDA
Geri Bátyó
#48
válasz
Geri Bátyó
#48
üzenetére
De azokban nincs IGP. Ebben újítana a Strix Halo. Eddig legfeljebb valami AMD Instinct cuccot vehettél elképzelhetetlenül horror áron, de azok is megállnak asszem 128GB-nál.
-
#44
lezso6
HÁZIGAZDA
Geri Bátyó
#43
válasz
Geri Bátyó
#43
üzenetére
Háló-háló! AMD Strix Halo!
-
Ha nem fér bele a VRAM-ba a modell, akkor a CPU-n futtatja, de próbál offloadolni GPU-ra. Ennek hatékonyságát nem mértem még le, de valószínűleg kb nullát ér, legalábbis a 70B modellt futtatva a GPU-t csak néha-néha terhelgetni.
Nálam van még egy RTX A2000 Ada 8 GB, ami gyakorlatilag az RTX 4060 profi változata laptopba, 35 wattból. Szóval nem valami erős.
A 8B modell ennek már belefér a memóriájába, így CPU-hoz képest kb 3x gyorsabb, azaz 30-32 token/sec a sebesség. -
-
Futtatható CPU-n is. Nálam laptopon 7940HS (~30-40 watt TDP) 64 GB DDR5-5600 RAM-mal a DeepSeek R1 70B modellt (~43 GB) futtatva Ollama-val tud kb 1.2 token/sec sebességet. Ez elég lassú, kb 5-10 perc/prompt, de működik. Pl ez 15 perc alatt sikerült.
Amúgy itt vannak az Ollama által támogatott GPU-k. Bárki kipróbálhatja.
szerk: DeepSeek R1 8B modell (~5GB) már 10 token/sec, az már kb elmegy sebesség.
A 8B modell ennek már belefér a memóriájába, így CPU-hoz képest kb 3x gyorsabb, azaz 30-32 token/sec a sebesség.
A legkisebb 1.5B pedig már amolyan Temuról rendelt ChatGPT, teljesen értelmezhetetlen a magyarja:
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
- Macska topik
- Sorozatok
- Kerékpárosok, bringások ide!
- Trollok komolyan
- Windows 11
- Mr.Csizmás: Bestbuy travel, utazós, kirándulós topic - szállások, jegyek
- GL.iNet Flint 2 (GL-MT6000) router
- Milyen asztali (teljes vagy fél-) gépet vegyek?
- Diablo IV
- sziku69: Fűzzük össze a szavakat :)
- További aktív témák...
- ÚJ Xiaomi Mi Robot Vacuum Mop Essential robotporszívó feltörlő 2db 1999 Ft
- Dell Latitude 5495 Full HD IPS Ryzen 5 pro 2500u Radeon Vega Mobile Gfx i5-8350u verő Bp MPL Foxpost
- Nvidia Quadro P400/ P600/ P620/ P1000/ T400/ T600/ T1000 - Low profile (LP) + RTX A2000 6/12Gb
- Xiaomi Redmi Note 9 Pro 64GB, Kártyafüggetlen, 1 Év Garanciáva
- Gigabyte 15 G5 Gamer FHD IPS 144Hz i5-12500H 12mag 4.5Ghz 16GB 512GB Nvidia RTX 3050 Win11 Garancia
Állásajánlatok
Cég: FOTC
Város: Budapest