Új hozzászólás Aktív témák

• #15 lezso6 HÁZIGAZDA tlac #12

  Új Válasz 2025-01-30 14:26:01 #15

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  lezso6

  HÁZIGAZDA

  válasz tlac #12 üzenetére

  Futtatható CPU-n is. Nálam laptopon 7940HS (~30-40 watt TDP) 64 GB DDR5-5600 RAM-mal a DeepSeek R1 70B modellt (~43 GB) futtatva Ollama-val tud kb 1.2 token/sec sebességet. Ez elég lassú, kb 5-10 perc/prompt, de működik. Pl ez 15 perc alatt sikerült.

  Amúgy itt vannak az Ollama által támogatott GPU-k. Bárki kipróbálhatja.

  szerk: DeepSeek R1 8B modell (~5GB) már 10 token/sec, az már kb elmegy sebesség.

Új hozzászólás Aktív témák