Új hozzászólás Aktív témák

• #54 Robitrix senior tag tlac #20

  Új Válasz 2025-02-10 11:33:27 #54

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Robitrix

  senior tag

  válasz tlac #20 üzenetére

  Én nem csak a magyarját nem értettem hanem azt se hogy miről zagyvál.

• #27 Raymond titán tlac #23

  Új Válasz 2025-01-30 16:36:04 #27

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz tlac #23 üzenetére

  Csak a layer-ek egy reszet rakja a VRAM-ba (a felvazolt esetben konkretan kb. a felet), a tobbi a RAM-ban van, gyakorlatilag az fogja limitalni a sebesseget, alig gyorsabb igy mint csak RAM-bol. Ekkora mereteknel inkabb csak kiprobalasra jo, gyakorlatilag hasznalhatatlan. A VRAM meretein belul kell maradni es akkor nincs szenvedes.

• #24 lezso6 HÁZIGAZDA tlac #21

  Új Válasz 2025-01-30 15:47:10 #24

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz tlac #21 üzenetére

  Ha nem fér bele a VRAM-ba a modell, akkor a CPU-n futtatja, de próbál offloadolni GPU-ra. Ennek hatékonyságát nem mértem még le, de valószínűleg kb nullát ér, legalábbis a 70B modellt futtatva a GPU-t csak néha-néha terhelgetni.

  Nálam van még egy RTX A2000 Ada 8 GB, ami gyakorlatilag az RTX 4060 profi változata laptopba, 35 wattból. Szóval nem valami erős. A 8B modell ennek már belefér a memóriájába, így CPU-hoz képest kb 3x gyorsabb, azaz 30-32 token/sec a sebesség.

• #22 Raymond titán tlac #21

  Új Válasz 2025-01-30 15:27:00 #22

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz tlac #21 üzenetére

  Melyik kartya pontosan? A 16GB-ba belefer a 14B-ig minden igy nem masolgat semmit miutan betoltotte.

• #15 lezso6 HÁZIGAZDA tlac #12

  Új Válasz 2025-01-30 14:26:01 #15

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz tlac #12 üzenetére

  Futtatható CPU-n is. Nálam laptopon 7940HS (~30-40 watt TDP) 64 GB DDR5-5600 RAM-mal a DeepSeek R1 70B modellt (~43 GB) futtatva Ollama-val tud kb 1.2 token/sec sebességet. Ez elég lassú, kb 5-10 perc/prompt, de működik. Pl ez 15 perc alatt sikerült.

  Amúgy itt vannak az Ollama által támogatott GPU-k. Bárki kipróbálhatja.

  szerk: DeepSeek R1 8B modell (~5GB) már 10 token/sec, az már kb elmegy sebesség.

• #13 Raymond titán tlac #12

  Új Válasz 2025-01-30 14:16:06 #13

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Raymond

  titán

  válasz tlac #12 üzenetére

  Az hogy CPU-n vagy GPU-n fut nem a modelltol fugg hanem az inference engine-tol, tehat megy CPU-n is. DDR5-6400 mellett a 8B Q4_K_M elmegy olyan 10 tok/s a gyakorlatban ami ha turelmes vagy akkor OK, de nem eppen kellemes sebesseg.

Új hozzászólás Aktív témák