Új hozzászólás Aktív témák

• #64 haxiboy veterán arn #63

  Új Válasz 2024-05-16 18:29:32 #64

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  haxiboy

  veterán

  válasz arn #63 üzenetére

  Mint minden ilyen nagy cég, jó eséllyel egyik hw gyártónak sem a consumerek hozzák a lóvét, hanem a céges nagy megrendelések.

• #58 Abu85 HÁZIGAZDA arn #46

  Új Válasz 2024-05-05 13:58:53 #58

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Abu85

  HÁZIGAZDA

  válasz arn #46 üzenetére

  Bármi, amihez van elég memóriád lokálisan, illetve elég gyors, mátrixszorzást alkalmazó részegységed. A lényeg annyi, hogy ne a szerverinfrastruktúrát terheld olyan feladattal, ami lokálisan is lefuttatható. A szervert csak akkor terheld le, ha a feladat lokálisan, reális időn belül megvalósíthatatlan. Ezzel tehermentesíted az adatközpontokat, így nem kell annyira sokat építeni, amivel kisebb lesz a fenntartási költség, stb.

• #44 Abu85 HÁZIGAZDA arn #43

  Új Válasz 2024-05-03 16:48:16 #44

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Abu85

  HÁZIGAZDA

  válasz arn #43 üzenetére

  Nem is akar senki, viszont vannak olyan feladatok, amelyek lokálisan már megoldhatók.

• #42 Komplikato veterán arn #19

  Új Válasz 2024-05-03 16:11:34 #42

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Komplikato

  veterán

  válasz arn #19 üzenetére

  Van brutális modell, ami meglepően jó, csak nem mindenkinek van a gépében 300GB+ vram és 1TB+ memória. De elfutni elfut lokálisan. Saját betanításhoz sok mindenre elég lenne egy 7B vagy 13B modell is, csak betanításhoz még több vram kell.

• #40 Abu85 HÁZIGAZDA arn #36

  Új Válasz 2024-05-03 14:21:04 #40

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Abu85

  HÁZIGAZDA

  válasz arn #36 üzenetére

  Sok paraméteres neuronháló futtatását gyorsítja. Konkrétan gyorsabban hajtja végre a mátrixszorzást, ami a vezető műveletnek számít.

  Ugyanezt csinálják egyébként az online szolgáltatások is. A probléma ott van, hogy ha ennyire növekszik az igény erre a munkamenetre, akkor muszáj valamiféle hibrid irányba elvinni, mert nem lehet elég szervert kiépíteni mindenkinek. Tehát optimális az lenne, ha némelyik folyamat lokálisan futna, némelyik pedig távolról.

• #38 Busterftw nagyúr arn #36

  Új Válasz 2024-05-03 14:01:19 #38

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Busterftw

  nagyúr

  válasz arn #36 üzenetére

  A valaszt, amit megkapsz.

• #28 haxiboy veterán arn #25

  Új Válasz 2024-05-03 08:16:57 #28

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  haxiboy

  veterán

  válasz arn #25 üzenetére

  A futtatásnál a probléma leginkább a szükséges RAM miatt probléma, de az izmosabb eszközökön a LLaMA2-7B -t már lehet futtatni vállalható sebességgel bár ehhez is szükséges kb 16gb ram
  De a Fine tuneolásához egy 7B modellnek...háát mobil eszközökön ez nem mostanában lesz lehetséges.
  Bár ez az önálló személyisége van dolgot nem igazán lehet értelmezni egy LLM esetében. Csak azt "tudja" egy model amin fel lett tanítva.
  Persze szép és jó látni amikor egy öntanuló modellt ráengednek az internetre, mint anno a Microsoft a sajátját a Twitterre. Körülbelül 1 napig futott mert rasszista adatokkal etették.

• #20 Busterftw nagyúr arn #19

  Új Válasz 2024-05-02 21:54:56 #20

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Busterftw

  nagyúr

  válasz arn #19 üzenetére

  Erről szól a cikk, nem szutyerák basic hardvert kell alá rakni, hanem prémium Nvidiat.

• #18 Busterftw nagyúr arn #17

  Új Válasz 2024-05-02 21:38:26 #18

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Busterftw

  nagyúr

  válasz arn #17 üzenetére

  Helyileg futtatod, tehát nem küldöd el a "beszélgetést" szerverre.
  Vagy például ott az Nvidia ChatRTX, ott helyi fájlokkal tud dolgozni.

Új hozzászólás Aktív témák