Új hozzászólás Aktív témák

• #9899 S_x96x_S addikt hokuszpk #9898

  Új Válasz 2024-09-14 11:16:37 #9899

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz hokuszpk #9898 üzenetére

  (AMX)

  az (Intel) AMX támogatás mintha már be lenne integrálva az LLVM és a GCC -be,
  és sok minden másba is https://www.phoronix.com/search/Intel+AMX

  Az Apple ( M1/M2/M3/.. ) viszont már 2020 -óta támogat ( egy hasonló mátrixos utasításkészletet - persze az ARM alapú és nincs rendesen dokumentálva.

  AI-re és pl. a CPU-n futtatott https://ollama.com/ ( lokális chatbot ) futtatásához lenne praktikus egy átlag usernek. Persze ott vannak a GPU -k és az NPU-k, de szerveres környezetben azok nem mindig érhetőek el.

  pár random link:

  1.) Advanced Matrix Extensions (AMX) Guide
  https://github.com/mikeroyal/AMX-Guide

  2.) "Contrasting Intel AMX and Apple AMX"
  https://www.corsix.org/content/contrasting-intel-amx-and-apple-amx

  3.) "Explore AMX instructions: Unlock the performance of Apple Silicon"
  https://zhen8838.github.io/2024/04/23/mac-amx_en/
  """
  Since 2020, Apple has published M1/M2/M3. They have at least four different ways to perform high-intensity computing tasks.
  - Standard arm NEON instructions.
  - Undocumented AMX (Apple Matrix Co-processor) instructions. Issued by the CPU and performed on the co-processor.
  - Apple Neural Engine
  - Metal GPU

  If we use ARM NEON instructions to accelerate the sgemm kernel on the single core of the M1 Max, It can achieve a performance of around 102 GFLOPS. But if use AMX instructions it can achieve 1475 GFLOPS!
  ...
  """"

  4.) "Accelerate PyTorch* Training and Inference Performance using Intel® Advanced Matrix Extensions (Intel® AMX) " ( Intel )

Új hozzászólás Aktív témák