Új hozzászólás Aktív témák

• #37 ddekany veterán S_x96x_S #2

  Új Válasz 2025-05-23 16:40:20 #37

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  ddekany

  veterán

  válasz S_x96x_S #2 üzenetére

  Az a 396 GB/s CPU memória elérés kb. RTX 4060 és 4070 VRAM sávszélessége között van. (Persze mert ez lényegében szerver hardver, sok memória sávval, csak mondom.) Ráadásul a GPU közvetlenül is tudja használni a CPU RAM-ot, és állítólag csak párszor 10 ns a plusz késleltetés (sávszélesség meg 900 GB/s, szóval nem az a szűk keresztmetszet). Érdekes lenne látni, hogy így használható maradt-e félig RAM-ban lévő modellel, ha nincs sok felhasználó. De ha más nem, a KV cache részben kikerülhet CPU RAM-ba.

Új hozzászólás Aktív témák