Új hozzászólás Aktív témák

• #1542 Chal addikt Komplikato #1541

  Új Válasz 2025-01-21 22:28:09 #1542

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Chal

  addikt

  válasz Komplikato #1541 üzenetére

  A Piper csak text2speech, igen. Ehhez kell egy speech2text komponens (ami valamelyik Whisper modellt futtatja), és valamilyen llm a kettő közé, így tudna felépülni egy localban futtatott hangasszisztens. Nagyon leegyszerűsítve: mikrofon -> whisper -> llm -> piper -> hangszóró.

  Ezer+1 project épül a téma köré. Pl. nyilván érdemes valamilyen "wake wordot" használni, mert senki nem szeretné, hogy folyamatosan maxon pörögjenek a vasak + válaszolgasson a kimeneten a modell. Aztán az sem rossz, ha nem a man cave sarkában levő all-in-one teszt hw-be dugott mikrofon/hangfal az egyetlen input/output, hanem van valamiféle multiroom megoldás, "áramvonalas", de megfelelően erős hardverekkel. Ebben és egyéb másban is segít pl. a Wyoming Protocol. és az egyéb Wyoming toolok (ugyanaz a fejlesztője mint a Pipernek).

  Én néhány éve összekalapáltam egy ilyet, de nagyon kezdetlegesnek, esetlegesnek éreztem, pláne magyar nyelven. Most egy kicsit jobban körbejárva, és a fent is említett újabb modelleket használva teszek vele egy újabb próbát.

  Amúgy az ember azt gondolná, hogy néhány doksival és yt tutoriállal megtámogatva ez egy viszonylag egyszerű dolog, de marhára nem az. A hw nagyon fontos, legyen kicsi (sőt, kicsik, mert itt adott esetben több eszközről beszélünk), fogyasszon keveset, de közben azért fusson rajtuk egy jó minőségű modell mindegyik kategóriából (tts, stt, llm). Az se lenne baj, ha a wake wordot már eszköz szinten tudnák kezelni a satellite komponensek (pl. Respeaker, Atom Echo jó cuccok ebből a szempontból, az előbbiből rendelek majd be párat).

• #1512 S_x96x_S addikt Komplikato #1511

  Új Válasz 2025-01-07 16:41:22 #1512

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Komplikato #1511 üzenetére

  > DIGITS ; hanem egy kis fogyasztású Petaflops teljesítményű AI szerver.

  1.) Local - LLM -re a memória sebesség lesz döntő
  és a DIGITS -re én 256 GB/s körüli mem sebességet feltételezek.
  ( Elméletileg a "The wide memory subsystem in Grace delivers up to 500GB/s of bandwidth" ) - persze ez a CPU -s rész.

  2.) A marketinges "Petaflops" -ot pedig vissza kell konvertálni
  https://www.reddit.com/r/LocalLLaMA/comments/1hvjjri/comment/m5uuvdx/

  NVIDIA GB10 DIGITS : ~ 250 INT8 TOPS ÉS (?? 256GB/s or 512GB/s)
  AMD AI Max Plus 395: ~ 60 INT8 TOPS(GPU) ÉS 256 GB/s
  Apple M4 Max : ~ 34 INT8 TOPS(GPU) ÉS 546 GB/s

  Az új M4 Ultra ( Mac Studio?) is a DIGITS megjelenése körül jelenik meg;
  és ott már 820 - 1092 GB/s várható.
  https://github.com/ggerganov/llama.cpp/discussions/4167

  Lehet, hogy érdemes lesz megvárni a nyarat a beruházással - mert lesz pár alternativa.

• #1339 S_x96x_S addikt Komplikato #1337

  Új Válasz 2024-10-26 17:29:07 #1339

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz Komplikato #1337 üzenetére

  > Python - Érdekelne hogyan vészelte át azt az 1-2 évtizedet,
  > amíg annyira el volt ásva, hogy nem is hallottam felőle.

  Közrejátszott nagymértékben az is,
  hogy a felsőfokú képzéseken ezt kezdték el tanítani a diákoknak.
  ( C, Pascal, .. és sok más nyelvet kiváltva )

  Valamint az a tény, hogy a python lényegében
  mindenben a második legjobb programozási nyelv,
  minden feladatra találsz sokkal jobb megoldást,
  de a python-t mindenre lehet használni.

  Mivel könnyű megtanulni, elterjedt -
  emiatt a cégek is könnyen találnak python-os munkaerőt.
  és az amolyan network effect. egyre több fejlesztő, egyre több package, egyre nagyobb ökoszisztéma.

  De amúgy a python - amolyan ragasztó nyelvként is működik, programozói könyvtárakat tudsz meghívni vele egyszerűen - és gyorsan tudsz prototípust készíteni.

• #1036 hiperFizikus senior tag Komplikato #1035

  Új Válasz 2024-08-18 00:25:24 #1036

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  hiperFizikus

  senior tag

  válasz Komplikato #1035 üzenetére

  joo, megélted, de túléled-e ?
  

• #661 DarkByte addikt Komplikato #655

  Új Válasz 2024-05-14 23:14:56 #661

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  DarkByte

  addikt

  válasz Komplikato #655 üzenetére

  Szerintem a tyúkbél a screenshare rész miatt kellett.

• #656 Fecogame veterán Komplikato #655

  Új Válasz 2024-05-13 21:23:30 #656

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Fecogame

  veterán

  válasz Komplikato #655 üzenetére

  Itt tesztelik, illetve a Verge szerint mindenkinek ingyenes.

  Nyelvtanulásra is szuper lehetőségnek tűnik.

• #621 Mp3Pintyo HÁZIGAZDA Komplikato #620

  Új Válasz 2024-05-01 18:56:08 #621

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  válasz Komplikato #620 üzenetére

  Köszi, hogy szóltál már tesztelem is az újat.

• #141 consono nagyúr Komplikato #140

  Új Válasz 2023-10-24 12:34:50 #141

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  consono

  nagyúr

  válasz Komplikato #140 üzenetére

  Persze, lehet, hogy úgy lesz, de ez úgy is csak hobby felhasználás Pénzt keresni kell építeni rendes környezetet. Amúgy vannak tesztek, ahol a TB3-al szemben nem egyértelmű, hogy az m.2 hátrányban van: [link]

• #65 Mp3Pintyo HÁZIGAZDA Komplikato #59

  Új Válasz 2023-08-07 15:13:35 #65

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  válasz Komplikato #59 üzenetére

  Azért van ez mert nem az alap default 1.5-ös modellt kell használni. Az tanításra van és nem generálásra.
  Ha élethű embert szeretnél akkor rengeteg model van amit le tudsz tölteni.
  Például ezek:
  https://civitai.com/models/4201/realistic-vision-v51
  https://civitai.com/models/4384/dreamshaper
  https://civitai.com/models/25694/epicrealism
  https://civitai.com/models/15003/cyberrealistic

• #56 Mp3Pintyo HÁZIGAZDA Komplikato #55

  Új Válasz 2023-07-25 09:04:36 #56

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mp3Pintyo

  HÁZIGAZDA

  válasz Komplikato #55 üzenetére

  Stable Diffusionhoz a legegyszerűbb az Automatic1111-et feltenni. Megtalálod a teljesen egyszerűen érhető YouTube videót hozzá a csatornámon.
  A Vicunya 13B-hez pedig a legegyszerűbb az oobabooga-t feltenni:
  https://github.com/oobabooga/text-generation-webui
  Szerintem ma készítek erről is egy videót.

Új hozzászólás Aktív témák