Új hozzászólás Aktív témák

• #52 Teasüti nagyúr inspiroyhome #48

  Új Válasz 2023-12-03 10:53:58 #52

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Teasüti

  nagyúr

  válasz inspiroyhome #48 üzenetére

  Kipróbáltam a uncensored vicuna 30b-t. Teljesítményben a gptq-s az olyan két perc /válasz szinten mozog. A gguf viszont egész kellemes gépelési sebességet hoz. Fura, hogy egy cpu gyorsabb itt, mint egy gpu. De olyan 20 prompt után belassult.
  Viszont ez a model egy kiköpött bullshit generátor. Amire be van tanítva az úgy oké. De absztrakt kérdésekre szimplán csak hazudik vmit. Nem tudtam meggyőzni, hogy nem, nincs hozzáférése az internethez. Fenyegetésre se. Hozott nekem mindenféle kitalált adatot és 404-es linkeket.

• #47 Teasüti nagyúr inspiroyhome #45

  Új Válasz 2023-12-03 02:11:33 #47

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Teasüti

  nagyúr

  válasz inspiroyhome #45 üzenetére

  
  Ezek gondolom full lokálban futnak csak. Nem mennek ki a webre, mint mondjuk a Bing AI? Szóval "csak" saját kútfőből válaszolnak?
  3060 12G-hez neked melyik branch vált be a GPTQ fajtából? 4bit-64g? Kisebb? Nagyobb?

• #44 Teasüti nagyúr inspiroyhome #41

  Új Válasz 2023-12-02 23:14:31 #44

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Teasüti

  nagyúr

  válasz inspiroyhome #41 üzenetére

  Van már esetleg vmi telepítő varázslóba csomagolt LLM, amit a magamfajta lelkes kontárok ki tudnak próbálni? Utoljára néztem akkor még azért egy kernel fordítás jutott eszembe a felrakásáról akár csak egy Llama-nak, nem hogy vmi Tensorflow képes cuccnak, így elengedtem.

Új hozzászólás Aktív témák