- Hivatalos a OnePlus 13 startdátuma
- One mobilszolgáltatások
- Nem fogy a Galaxy S25 Edge?
- Milyen okostelefont vegyek?
- Xiaomi 15 Ultra akku probléma?
- Magisk
- Megvan a Pura 80 nemzetközi startja
- Külföldi SIM-ek itthon
- Samsung Galaxy Watch4 és Watch4 Classic - próbawearzió
- Hatalmas teleppel futott be a Xiaomi Mix Flip 2
Új hozzászólás Aktív témák
-
ddekany
veterán
válasz
Alchemist
#46
üzenetére
Bocs, benéztem. Az inference rész nem olyan vészes. Feltéve hogy nem kell sok embert kiszolgálni párhuzamosan, csak a training a "szekrénysoros" kategória (valószínűleg ezt volt összekutyulva a forrásomban). De most tegyük fel, hogy a kész modellt megkapod. Akkor GPT 3.5 az 175B paraméter, arra itt azt a tipp, hogy 5 db V100-as (de lehetne A100-as is), azaz 5x80GB=400GB VRAM elég lehet rá: [link]. Ez kb konzisztens azzal, amit nyilt cuccokról láttam hirtelen (pl. hasonló méretű BLOOM). Illetve ha nem gond, hogy borzalmas lassú a cucc, akkor lehet kevesebb memóriával is (pl. CPU, 16 GB RAM, SSD, és akkor pár perc amig egyetlen tokent kidob... szóval nem annyira használható, mert pár óra is lenne úgy egy pár mondatos válasz). Az erre kicsit szűkös 4 db A100-et tartalmazó DGX Station-ok kb. 170e USD, szóval kb 70M Ft ahogy elnézem. (De biztos van használt olcsóbban, HA-n érdemes nézelődni...
)Viszont, a GPT 3.5 használhatósága, hát... nekem inkább tech demó kategória. A GPT 4-esről meg nem ismert a paraméterek száma, de a "közvélemény", hogy a 3.5-ös többszöröse. Az meg még nyílt kérdés, hogy mekkora lesz ez, amire igazán széles körben használható lesz. Jelenleg mondjuk a fő gond a hallucinálás, és az OpenAI-sok egyik fő törekvése, hogy ez megszűntessék valahogy. Hogy ez paraméter számban mit fog jelenteni, ha egyáltalán érdemben befolyásolja, ezt tán ők sem tudják még.
-
-
ddekany
veterán
Ja, értem, azt hiszem. Szóval felhasználó kérdez valamit, akkor először embeddig alapján kigyűjtöm a saját akármekkora DB-ből a valószínűleg kapcsolódó top valamennyi részletet (szóval kvázi az is AI alapú szűrés, de simán vektor távolság alapján), és csak azt rakom a kérdés elé felvezetőnek. Amúgy CharGPT 4-nek már vmi 30000 token a limit.
De szóval, az eredeti kérdésem, hogy vajon mennyire megbízhatóak ezek? Mert azért pénzügyi és hasonló témában szomorúságra adhat okot felhasználói oldalon, ha megb*ssza az APEH, mert pl. egy-két számla kimaradt a válaszból, mert épp úgy álltak a csillagok.
-
ddekany
veterán
"Meg tudom kérdezni az AIt-t, hogy például, hogy melyik szerződésem jár le 2 éven belül"
Ezekben mennyire lehet vakon megbízni? Felteszem itt a saját dokumentumok hasonló jelleggel vanna felvíve, mint ha chat-ba bevágólapoznád (csak nyilván API-val), és utána jön a végére a kérdés. Szóval a tudás elvileg meg van neki, de... mit tudom én, kicsit kaotikusna tűnt nekem a cucc, 3.5 alapján.
-
ddekany
veterán
válasz
#56573440
#27
üzenetére
Végül is, a gyerekem is még tanul fejben meg papíron számolni, pedig a számológép nem újdonság... Viszont lázad is, hogy de minek.
Persze a cikkben elsősorban a házi dolgozatokról és hasonlókról van szó. Hogy azt kell úgy adni, hogy ilyen segítséggel együtt is (aminek a tudása évről évre nő) hozzá kelljen tenni valamit a tanulónak is.
-
ddekany
veterán
Az lenne az értelmes, ha globálisam mindenki egyszerre és ugyan annyira tiltana, a közjó érdekében. Az amerikai törvényhozás is mozgolódik korlátozás téren. Viszont aztán van amit kimondatlanul mondasz, hogy aki legkevésbé tilt, az lehet hogy versenyelőnybe kerül. Mindig ezek a játékelméletes csapda helyzetek...
-
ddekany
veterán
válasz
#56573440
#20
üzenetére
Én arra számítok, hogy az ilyen ChatGPT-szerűségek képességei jelentősen ki fognak szélesedni az elkövetkezendő években. Tehát egyre kevesebb feladat lesz, amit nem tud megcsinálni, oktatás esetén a gyerek helyett. Tehát mindig olyan feladatot kell adni, ami az ilyen MI-k aktuális képességei fölé lő? Húzós lesz ez.
Meg van az a csapda, hogy amit az MI is megold, annak megtanulására nincs nagy motiváció, mert már nincs rá közvetlenül szükség. De ha így nem épültek be soha az alapok, akkor tán a komplexebb megoldások összehalászása és összeillesztése is gond lehet. Szóval vissza üthet ez.
Illetve, ki fog így bármit tanulni mélyebben, ha az az érzet van benne, hogy mire végez, addigra az már ki lesz váltva. Persze van aki igen, csak szórakozásból, de az kevés ember. Rázós lesz ez.
-
ddekany
veterán
válasz
Alchemist
#13
üzenetére
A mostani még nyilván számtalan teszten nem menne át. Pl drogteszten sem, amilyeneket képzeleg...
De nem kell alábecsülni, nagyon fiatal cucc. Ahhoz képest hogy explicit semmit nem tanítottak neki, csak réömlött rakás anyag, érdekes "meglátásai" vannak néha. Pl. azt tedd valahova, ahogy SQL szerver meg bash shell-t utánoz... Hogy a frászba? Ahhoz már valamiféle "world model" kell, ha még egy olyan kis egyszerű világé is, mint egy fájlrendszer, vagy egy kupac tábla. Hogyan alakult ki benne?"Csak szöveggeneráló" meg önmagában nem sokat mond. Ha pl. "Following is the detailed description of a practically useful fusion power plant", és úgy, folytatja, hogy működik...
-
ddekany
veterán
Nehezítené az értelmes diskurzust ezen a vonalon az is, hogy nem tisztázott, mi számít már gondolkodásnak (meg pláne, öntudatnak, mert is feljön állandóan) Ezért is jobb csak azt nézni, hogy X dolgot meg tud-e csinálni, meg Y jellegű viselkedésre hajlamos-e. Aztán mindenki olyan régi időkből származó szavakat aggat rá, amilyet akar.
Illetve, a törvénynek a ChatGPT és hasonlók jövőbeni verzióira is fel kell készülnie még mielőtt megjelennének. De nem tudja senki, azok milyenek lesznek. Az látszik, hogy az utóbbi kb. 5 évben gyors volt a fejlődés ilyen generatív LLM területen.
-
ddekany
veterán
A nagy kérdés, hogy az minek a tech demója. Azaz mennyire következnek a felépítéséből a mostani gyengéi, túl fog-e rajta lépni. Most is amúgy legtöbben (talán te is) ChatGPT 3.5 alapján ítélsz. Nem próbáltam a fizetős 4-eset, de állítólag komoly előrelépés értelmi képességben. A "hallucinálás" megmaradt, de azt mondják fejesek, ezen dolgoznak, hogy "megneveljék" ilyen téren. (Ilya megfogalmazása azt sugallta, hogy sejtése szerint a rendszer képes lehet eldönteni hogy mennyire biztos valamiben, csak meg kell tanítani, hogy ezt vegye figyelembe.)
)
![;]](http://cdn.rios.hu/dl/s/v1.gif)
Új hozzászólás Aktív témák
Hirdetés
- EREDETI Apple Watch ULTRA óraszíjak (BLACK TITANIUM) - 49mm
- Apple Watch ULTRA 2 49 mm - Black Titan, Black Ocean Band - MAKULÁTLAN! - 3 ÉV GARANCIA
- Razer Core X eGPU
- MSI Cyborg 15 A13VF - 15.6"FHD 144Hz - i7-13620H - 16GB - 512GB - RTX 4060 - Win11 - 1,5 év garancia
- Asus ProArt RTX-4060 OC 8GB (PROART-RTX4060-O8G)
- ÁRGARANCIA! Épített KomPhone Intel i9 14900KF 32/64GB RAM RTX 5070 12GB GAMER PC termékbeszámítással
- AKCIÓ! MSI B450 R5 5500 16GB DDR4 512GB SSD RTX 2070 8GB GDDR6 Rampage Shiva Zalman 500W
- BESZÁMÍTÁS! Intel Core i7 8700K 6 mag 12 szál processzor garanciával hibátlan működéssel
- BESZÁMÍTÁS! Intel Core i9 9900K 8 mag 16 szál processzor garanciával hibátlan működéssel
- Napi 1000 -ft tól elvihető RÉSZLETFIZETÉS BANKMENTES MSI Cyborg 15 A13VE
Állásajánlatok
Cég: Promenade Publishing House Kft.
Város: Budapest
Cég: CAMERA-PRO Hungary Kft
Város: Budapest