Új hozzászólás Aktív témák

• #53 inspiroyhome senior tag Teasüti #52

  Új Válasz 2023-12-03 10:58:52 #53

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  inspiroyhome

  senior tag

  válasz Teasüti #52 üzenetére

  Na igen, itt jon be a parameterezes, a temperature nagyon fontos, ez hatarozza meg, hogy mennyire kreativ...

• #51 inspiroyhome senior tag Teasüti #47

  Új Válasz 2023-12-03 10:26:56 #51

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  inspiroyhome

  senior tag

  válasz Teasüti #47 üzenetére

  Letrehoztam ezt, mivel PM is jott, ne offoljuk szet ezt a helyet. Ha ekkora az erdeklodes, szivesen osszedobok majd egy tutorialt / knowledgebaset, amint idom engedi.
  
  https://prohardver.hu/tema/otthoni_ai_ml_labor_nyilt_forraskodu_szoftverekkel/friss.html

• #48 inspiroyhome senior tag Teasüti #47

  Új Válasz 2023-12-03 09:58:07 #48

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  inspiroyhome

  senior tag

  válasz Teasüti #47 üzenetére

  Igy van. Teljesen lokalis, a sajat GPUd vegzi a szamitasokat es a modelleket is te tarolod a gepeden. Kis szerencsevel 12GB-ba belefer a 13B modell is. Ez a szam a parameterek szamat hatarozza meg, altalanossagban minel nagyobb annal jobb, de nem mindig igaz - egy specifikus, vagy ujabb 7B modell lehet jobb egy regebbi 13 vagy 30nal is.

  Szoval 12GB-ba 13B 4bit quant (groupsize talan mindegy, thebloke oldalan leveo modelleknel szinte mindig tokeletes valasztas a main branch.) 7B 4bit szepen megy.

  Ezek a bitek a quantizaciok, magyon roviden tomoren a 16 bites pontossagbol 4 bitet csinalnak, de igy nem kell 2 darab 80GB-os VGA.. es a teljesitmenyveszteseg sem oriasi. Egy 4 bites 30b modell jobb, mint egy 16-os 7b.

• #45 inspiroyhome senior tag Teasüti #44

  Új Válasz 2023-12-03 00:28:04 #45

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  inspiroyhome

  senior tag

  válasz Teasüti #44 üzenetére

  https://github.com/oobabooga/text-generation-webui

  Ezekhez van oneclick installer, ezt hasznalom en is backendnek. Sajnos sok leiras nincsen ahhoz kapcsolodoan, hogy honnan kell beszerezni modelleket. --> Innen erdemes. Ez a user rengeteg quantizalt modellt ad ki. Ha downloads szerint sorbarendezed kijon melyiket erdemes leszedni. Nalam volt mar kb minden, talan a mythomax 13b es a wizarlm uncensored vicuna 30b voltak eddig a legjobbak.

  https://github.com/ggerganov/llama.cpp

  Ez buildelos, de ad egy kis infot az ertelmes modellekrol. A lenyeg az kb annyi, hogy GPTQ az csak GPU, GGUF viszont megy CPU-val is.

  Kicsit keszekusza, sorry... Sajnos nem tudok egy komplett leirasrol, de en amiota letezik ez open source korokben, azota foglalkozom vele, es sokkal, sokkal konnyebb lett. Viszont a folyamatos es rettento gyors fejlodes miatt, elegge agilisnek kell lenni, a noveko komplexitasrol nem is beszelve. De ha az ember kicsit beleassa magat, megeri. Redditen a locallama subredditben nagyon sok hasznos info van, meg jobban fogalmazo, kevesbe faradt ember...

• #41 inspiroyhome senior tag

  Új Válasz 2023-12-02 22:29:11 #41

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  inspiroyhome

  senior tag

  LLM-es temahoz annyit, hogy engem peldaul teljesen elkapraztat, hogy otthon ML/AI -ra epitett gepem egy sima consumer uzletben kaphato 3090-el vagy 3060-al mire kepes. Eszmeletlen mennyisegu tudas belefer egy 10-15gb-os fileba. Siman mar most tudom egy csomo dologra hasznalni, es megegyszer, ez egy otthon futo cucc, semmi specko hardver. A keret korulotte meg opensource, ingyenes.
  
  A 3090 mellett van egy 3060 is AI-ra, az is hihetetlen mit tud. Lokalisan tudok kepet analizalni, majd annak tartalmarol beszelgetni. Tervet kesziteni, kodot irattatni, sajat, erzekeny infom megadasaval (amit ChatGPT-nek pl nem adnek mar meg.) Ezen felul segit a storywriting hobbimban is, nagyon jo eszmecsereket lehet levezetni, akar 1 oran vagy tobb oran keresztul.
  
  De! ennek semmi koze a mesterseges intelligenciahoz. Ugyanakkor a "valoszinuegszamito program" sem igaz, csak egy brutalis es pontatlan lealacsonyitasa a dolognak. A korulotte levo "hype" meg nem fog eltunni, mert a cucc egyre csak fejlodik es tenyleg haszna van. - sajnos a cenzura is no, es van ahol hulyebb lesz, de erre vannak az open source megoldasok.
  
  szerintem vilagvege nem lesz, es mar most ott tartunk, hogy rengeteg ember eletet segiti elo, akar a fizetos chatGPT vagy akar az otthoni local verzio.
  
  

Új hozzászólás Aktív témák