Új hozzászólás Aktív témák

• #6 S_x96x_S addikt S_x96x_S #1

  Új Válasz 2025-08-01 11:58:56 #6

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz S_x96x_S #1 üzenetére

  ha valakit bővebben is érdekelne ...

  a benchmark amit posztoltam állítólag még nem frissült és
  azóta 20% -al jobb a teljesítmény.

  https://www.reddit.com/r/LocalLLaMA/comments/1mao95d/running_llms_exclusively_on_amd_ryzen_ai_npu/

  """
  Our goal is to make AI more accessible and efficient on NPUs, so developers can build ultra-low-power, always-on AI assistant–style apps that run locally without draining resources from GPU or CPU. So we think it could be good for future immersive gaming, local AI file management, among other things ...
  We chose AMD NPU not just for power efficiency, but also because of the excellent low-level tooling—like Rialto, AIE-MLIR, IRON, and MLIR-AIR—which gives us the flexibility and control we need for deep hardware optimization. Plus, AMD NPUs are genuinely efficient! (We are not from AMD BTW.)
  """

  """
  We only benchmarked it on Kraken. Strix or Strix Halo have a smaller mem BW for NPU. Kraken is about 20% faster (Note that this can vary on different computers, clock speed, mem BW allocation, etc.).
  This was done about a month ago (but we are about 20% faster now on Kracken)
  https://docs.fastflowlm.com/benchmarks/llama3_results.html
  """

• #5 tibaimp nagyúr

  Új Válasz 2025-08-01 11:28:52 #5

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  tibaimp

  nagyúr

  Én simán el tudok képzelni olyat, hogy a jövőben a játékokhoz is kellhet majd dedikált NPU kártya, mint most a dVGA! Ezzel lenne megoldva például az honosított szinkron/felirat, esetleg a játékban egyes NPC-k válaszai, reakciója, stb. Hogy, ez jó lenne-e, az már jó kérdés...

• #4 Watchdog aktív tag Peter64 #3

  Új Válasz 2025-08-01 11:25:59 #4

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Watchdog

  aktív tag

  válasz Peter64 #3 üzenetére

  A Decoding fogyasztási táblázat szerint csak 3-4x, és messze a legrosszabb az iGPU...

• #3 Peter64 csendes tag freeapro #2

  Új Válasz 2025-08-01 10:27:28 #3

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Peter64

  csendes tag

  válasz freeapro #2 üzenetére

  Lehet úgy, hogy a végül kicsivel gyorsabb CPU, 100x annyi árammal oldja meg ugyan az a computation-t.

• #2 freeapro senior tag S_x96x_S #1

  Új Válasz 2025-08-01 09:37:54 #2

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  freeapro

  senior tag

  válasz S_x96x_S #1 üzenetére

  Hogy kell érteni a benchmark táblázatokat, mert a CPU is gyorsabb, mint az NPU.

• #1 S_x96x_S addikt

  Új Válasz 2025-08-01 00:53:56 #1

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  ha valaki érdekel ( és AI 300 cpu-ja van XDNA2 -es NPU -val )
  https://github.com/FastFlowLM/FastFlowLM

  benchmark ( NPU vs. iGPU vs . CPU ) :
  https://docs.fastflowlm.com/benchmarks/llama3_results.html

Új hozzászólás Aktív témák