- Xiaomi 15 - kicsi telefon nagy energiával
- Írországban lezárult, az USA-ban csak most indul az Apple dráma
- Szivárognak a Vivo X300 kameraadatai
- Vékonyabb lett, jobb kamerát kapott, de az akku maradt a régi: itt a Fold7
- Vivo X200 Pro - a kétszázát!
- Samsung Galaxy A56 - megbízható középszerűség
- Mobil flották
- iPhone topik
- Xiaomi Smart Band 10 - a hetedik napon megpihen
- Garmin Instinct – küldetés teljesítve
Új hozzászólás Aktív témák
-
haxiboy
veterán
válasz
Kristof93
#54
üzenetére
A videóban a demot egy laptopon csinálta Chuck...leszámítva azt a néhány bevágást amivel demonstrálta mit lehet kihozni egy multi-gpu rendszerből.
De érdekességképpen most kipróbáltam egy Raspberry Pi5 -ön és egész vállalható sebességgel fut még a llava is.
Szerintem elképzelni nem tudod mennyi pénzt tolnak bele a cégek a publikusan elérhető modellek tanításába, amik futtatásához jé! nem kell atomerőmű.
-
haxiboy
veterán
De nincs ezzel semmi gond, csak legyen egy jól lefektetett szabvány amit követnek a gyártók. A gyártóspecifikus baromságokat kéne elhagyni, csak úgy nehezebb versenyezni a konkurenciával ha mindenki ugyanazt árulja.
Ebből a szempontból tisztelem az AMD-t, a megoldásaik univerzálisak.
Cuda szerencsére kezd kiesni a képből hála a ZLUDA-nak, ami fut AMD-n is.
-
haxiboy
veterán
válasz
Kristof93
#45
üzenetére
"Senki nem fog ai gyorsítót venni" ?
Ez pont olyan kijelentés minthogy GPU-t nem veszünk mert van a prociba integrálva, vagy hangkártyát/hálókártyát mert van az alaplapon.Apple az A11 óta pakolja a Neural Engine-t hardware-be. Észre sem fogjuk venni, néhány generáció váltás, és az AI ready hardware-kben ott lesz.
Ahogy most az a menő hogy a videókártyádon van egy m.2 pcie csati az SSD-knek, miért ne jöhetne ilyen formátumban AI accelerator a jövőben vagy elhagyva a csatlakozót, rádrótozva a kártyára/alaplapra.
A Microsoft egy halom pénzt öntött az OpenAI-ba. Előbb utóbb követelménnyé fogják tenni az AI gyorsítót a copilot-hoz. Olcsóbb az usernél futtatni mint a datacenterben.
-
haxiboy
veterán
válasz
Kristof93
#33
üzenetére
Ps4 és Xbox one-nál -és az új konzolok esetében is- koherens memóriáról beszélünk. Kár összehasonlítani egy PC-vel.
Amikor a Ps4 megjelent a GTX Titan és Titan Z volt az nvidia legizmosabb kártyája, 6 illetve 2x6GB gpu-val.
A "standard" inkább a 2GB-s kártyák voltak akkoriban. Quantizált modelleket, alacsonyabb precizitással már egy 4GB Vram-mal rendelkező GPU-n is lehet futtatni.
Valószínű, ha szeretné a gyors elterjedését a Microsoft az otthoni offline AI-nak, akkor olyan modellt fog szállítani ami.
Az ASIC vagy FPGA alapú gyorsítók is hamarosan elérhető áron lesznek elérhetők. Mint pl a pici modellekhez szánt Coral. -
haxiboy
veterán
A futtatásnál a probléma leginkább a szükséges RAM miatt probléma, de az izmosabb eszközökön a LLaMA2-7B -t már lehet futtatni vállalható sebességgel bár ehhez is szükséges kb 16gb ram
De a Fine tuneolásához egy 7B modellnek...háát mobil eszközökön ez nem mostanában lesz lehetséges.
Bár ez az önálló személyisége van dolgot nem igazán lehet értelmezni egy LLM esetében. Csak azt "tudja" egy model amin fel lett tanítva.
Persze szép és jó látni amikor egy öntanuló modellt ráengednek az internetre, mint anno a Microsoft a sajátját a Twitterre. Körülbelül 1 napig futott mert rasszista adatokkal etették. -
haxiboy
veterán
Jelenleg ezen dolgozik mindenki:
Whisper, Piper, Fooocus (Stable Diffusion modellek), LLama stb.Ami néhány éve még álom volt, majd megjelent cloudban, már elérhető otthon is. Bár valóban érdemes őket megtámogatni. Nem is a modellek futtatásával van jelenleg már a gond. Az új modellek készítése/fine tuneolása még mindig hatalmas erőforrást igényel.
"Így van! Amit, viszont el tudok képzelni, mondjuk 10 éven belül, hogy a nem fő NPC-k, AI generált válaszokat adnak a játékos viselkedése alapján."
https://github.com/AkshitIreddy/Interactive-LLM-Powered-NPCs
Lehet vele játszani
Bár ez pont GPT4, ha elérünk erőforrásban oda hogy nem horror összegekbe kerül feltanítani egy modellt...
Jó eséllyel ehhez nem fog kelleni 10 év. Ha valaki 5 évvel ezelőtt azt mondja nekem, hogy lesznek speciális AI modellek amik on-the-fly képesek nekem kódot írni, kontextus alapján, nagy valószínűséggel kitalálni hogy mit szeretnék csinálni, és/vagy specifikáció alapján kódot generálni, kiröhögöm. Most pedig napi szinten használom a munkámhoz.Egyébként meg az olyan nagy cégek mint a csúnya rossz Meta, sőt Microsoft, Apple és még sorolhatnám, tesznek közzé publikus modelleket és/vagy toolokat.
Bár ez pont GPT4, ha elérünk erőforrásban oda hogy nem horror összegekbe kerül feltanítani egy modellt... Új hozzászólás Aktív témák
Hirdetés
- ÁRGARANCIA!Épített KomPhone Ryzen 7 9800X3D 64GB RAM RTX 5080 16GB GAMER PC termékbeszámítással
- Azonnali készpénzes nVidia RTX 2000 sorozat videokártya felvásárlás személyesen / csomagküldéssel
- ÁRCSÖKKENTÉS Dell Latitude E6320 notebook eladó
- Acer Predator Helios Neo 16 - 16"WQXGA IPS 165Hz - i9-14900HX - 16GB - 512GB - RTX 4060 - 3 év gari
- LG 55G2 - 55" OLED evo - 4K 120Hz 1ms - 1100 Nits - NVIDIA G-Sync - FreeSync Premium - HDMI 2.1
Állásajánlatok
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest