- Xiaomi 15 - kicsi telefon nagy energiával
- Samsung Galaxy Watch6 Classic - tekerd!
- Magisk
- Samsung Galaxy S23 FE - nincsen sárkány
- iPhone topik
- Xiaomi 14T Pro - teljes a család?
- Apple iPhone 16 Pro - rutinvizsga
- LG Velvet (4G) - megelőzte a híre
- Google Pixel topik
- Samsung Galaxy S24 Ultra - ha működik, ne változtass!
Új hozzászólás Aktív témák
-
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#2080
üzenetére
> Llama 4 Scout 109B/17B
talán a context window miatt ?
A Lllama 4 scout -nak gyárilag 10M a context window -ja, gyárilag és ollama-n keresztül is;
A "Qwen3-235B-A22B" -nek meg csak 128K ( a hivatalos szerint )
de ha Ollama -n keresztül van futtatva, akkor még kevesebb - csak 40K -t ir. ( forrás )
és ez már nagy különbség. -
junior11
veterán
válasz
Mp3Pintyo
#2042
üzenetére
1. általános otthoni felhasználás, böngészés, irodai munka mellett, konkrét célja nincs, egyelőre, majd ahogy alakul és kitapasztalom a működésüket, ingyenes csomag
2. magyar és szlovák (felvidéki vagyok)
3. kép nem nagyon szükséges
4. igen, Windows 10 laptop és androidos telefon
5. itt mire gondolsz konkrétan? Előnybe részesítem, amelyik minél kevesebb adatot gyűjt, de tudom, valamilyen szinten ez szükséges. -
Zizi123
senior tag
válasz
Mp3Pintyo
#2017
üzenetére
Nincs. Csak az zavart meg, hogy nem igen láttam azt leírva, hogy amennyiben van előfizetésed kattints a "képgenerálás" ikonra.
Most éppen ott van. Akkor lehetséges, hogy napi limit van? (ami azért is fura, mert kb most akartam életemben először generáltatni vele képet, tehát nem értem el a limitet.)
Egyébként most éppen ott van az ikon, és nincs a "..." mögé sem rejtve.
Érdekes. -
5leteseN
senior tag
válasz
Mp3Pintyo
#2006
üzenetére
A Gemma-3/27B-nek van jól használható modellje, ami a(z egyszer majd csak elkészülő) 22GB-os 2080Ti-men jól tud futni?
A rohanó AI-MI világban kicsit ragaszkodom a Gemma-3-hoz, mert viszonylag jól tud magyarul.Egyébként: Sok videód (és más Yt-videók alapján) Q5-Q6-ig van értelme letölteni, a Q8-asok már nálam "szét-kreatívkodják" az eredményt(emléxem: nálad is a tesztben).
-
freeapro
senior tag
válasz
Mp3Pintyo
#1999
üzenetére
Megnéztem az openrouter-es videodat, meg az oldaladat. Gratulálok! Nagyon termékeny tartalomkészítő vagy!
Az openrouter tényleg klassz, de valószínűleg adatgyűjtésből él, és nem nem szeretném megosztani amin dolgozok a konkurenciával
Megnéztem a deepcoder videódat és az AI tesztjeidet. Pár észrevétel: szerintem grafika rajzolás nem kimondottan kódoló feladat
. Ha rossz választ ad elsőre miért nem próbálsz feedbackelni? Hiszen ez a fejlesztés tényleges folyamata. Gyakran nem ad elsőre jó választ, de ha meg tudod mondani neki, hogy mi a baj, akkor gyakran el lehet jutni egy működő verzióhoz. Én arra lennék kíváncsi, hogy így meddig lehet eljutni egy modellel. (pl. eddig a deepseek 70b modell lokális futtatása volt a cél, de most elbizonytalanodtam, hogy tényleg megfelelő-e)Általános kérdés: ha egy nagy projektben szeretném használni a modelleket hibakeresésre és tesztek generálására (GUI-n keresztül is a teljes kódon, és a motorháztető alatt az egyes függvényekre is), akkor mi az ideális setup, és melyik modell erre a legalkalmasabb? Lehetséges egyáltalán használható rendszert összerakni lokálisan a saját gépemen?
-
DarkByte
addikt
-
beteg
őstag
válasz
Mp3Pintyo
#1978
üzenetére
Vagyis drága.
Nincs még összehasonlítási alapom, ez az első LLM, amit használok. (A marketingje szerint ez már nem is LLM, hanem az első Generatív AI )
Nekem 1000 creditet adott alapból a regért. További 3900 kerülne 18.500 Ft-ba.Két kérdésem volt eddig hozzá. Mind a kettőre olyan meglepően kibajó választ állított össze, hogy leesett az állam. "Sajnos" kénytelen leszek szkeptikusból értelmesen használóvá válni!
Linkeltétek itt Karpathy bő 3 órás videóját. Kértem, hogy készítsen belőle rövid kivonatot. Most állok neki megnézni a videót, kíváncsi vagyok, milyen minőséget adott a Manus, de ránézésre brutál profi, hibátlan anyagnak tűnik. És ezt adta 38 kreditért...
-
tobias40
veterán
válasz
Mp3Pintyo
#1962
üzenetére
Mondjuk ha nincs előfizuja az embernek egyikhez sem akkor hogyan tudja használni ezeket a megoldásokat?
Mert a korlátos ingyenes chatgpt az elég korán kiírja hogy majd 12 óra mulva lesz megint elérhető.
Nem tudom hogyan számolják az ingyenesnél,karaktert vagy kérdés számot vagy hogyan?szerk:sajnos nálam csak a magyarul chatelő a megoldás,az angolom nagyon gyenge
És mivel van syno 220+ nasom,így azon lenne érdemes futtatnom mindent mert 0-24-ben megy és minden eszközről elérhető.Vagy ez nem jó megoldás? -
-
5leteseN
senior tag
válasz
Mp3Pintyo
#1932
üzenetére
Negyed-annyiért a "csak" 85-95%-át tudó bővíthető kínai-tajvani verzió lesz, a szokásos 3-4 hónap múlva.
A nagyok elviszik az extra-profitos részt, azok pedig aki nekik egyébként is gyártják, azok meg a következő "munkásabb" piaci szakasz nyereségét.
Ez utóbbi piaci-versenyezős szakasz jó pillanatait-jókor elkapva lehet, tudunk majd nagyon jól járni.Tapasztalatom, nagyvonalakban.+ : Az ehhez a döntéshez szükséges (egyébként gyakorlatilag bárki számára kis kitartással megszerezhető) szakmai tudással, és gyorsan mozdítható €-$-Ł-okkal.
Ennél bővebben már nem tartozik a témához.
-
Zsolt_16
tag
válasz
Mp3Pintyo
#1923
üzenetére
Sajnos a local futtatás kilőve nincs olyan vas a cégben ahol értelmesen elmenne ha az even lab bevállik 5-10 usd/hó akkor nekünk megfelelő költség lesz havonta így a kollega aki használja egy login után simán tudja használni.
Köszönöm innen is a munkádat már youtubeon találkoztam veled és nagyon sokszor hasznos voltak a videóid
-
DarkByte
addikt
válasz
Mp3Pintyo
#1878
üzenetére
Meg, de sajnos nem sok plusz teljesítményt lehet így kisajtolni, mert a hálózat/USB/Thunderbolt eléggé szűk keresztmetszet lesz ebben az esetben. [link]
A legfrissebb Framework Desktop videóban is valahogy kihagyták a több gép összekötésével elérhető sebesség bemutatását. Valószínűleg nem valami acélos.
-
5leteseN
senior tag
válasz
Mp3Pintyo
#1878
üzenetére
Tehát ha van két(akár nem azonos típusú)2080Ti 22GB-osom, akkor 44GB méretnek látja a program?
"Annyi" a gond csak(ha jól értem), hogy ebben az esetben a két 2080ti közötti sebesség lesz a szűk keresztmetszet(igen, tudom: botlenek
![;]](//cdn.rios.hu/dl/s/v1.gif)
), de kétszeres méretű LLM-ekkel tudok dolgozni, az egy 2080Ti-nél valamivel( még nem tudni mennyivel 
) lassabban?Ha ezt kb jól láttam, akkor már csak az lenne a hab a tortán (de dúsan
), ha a Windows-os Linux-on(WSL 1-2 ?) is futna ez az exo...! LM Studio-t is kérek...
PLs-pls.. -
tothd1989
tag
válasz
Mp3Pintyo
#1847
üzenetére
Már tesztelgettem (amúgy túrót a fülébe minden olyan (hobbi) fejlesztőnek, aki nem írja oda, milyen shellt kell használni (bash, ps, cmd nem volt jó, miniconda lett a nyerő)). 2 perc csinált a 14700kf 4db képet 1024x1024-es felbontásban az alap modellel. Sajnos csak 77 tokent támogat, meg nem is a legjobb az alap modell, mert elég sok anomália a generált gépeken, direkt egy elmentett promptot próbáltam, ami fooocus alatt majdnem tökéletes kimenetet eredményezett. Mindenesetre köszönöm a linket!
-
-
5leteseN
senior tag
válasz
Mp3Pintyo
#1776
üzenetére
Annyiban pontosítok, hogy a letöltéskor zölden kiemeli az LM Studio az általa a a VRAM-ba betölthető méretűnek gondolt állományokat. Ezek minden esetben 6,5 GB alatt vannak, pedig a VRAM ugyebár 11 GB a 2080Ti-nél. Ezt ki is írja a megfelelő helyen, tehát tudja a program.
Lehet, hogy ez a program egy kisebb hibája. Kinek mi a gyakorlaban a tapasztalata?
Például: egy 10GB-os LLM mekkora VRAM-ot igényel összesen? ...mert ugye gondolom, hogy a VGA-ban történő műveletekre is igényelnek ezekre plusszban még valamennyi memóriát. -
DarkByte
addikt
válasz
Mp3Pintyo
#1773
üzenetére
Világos. Csak ismételni tudom magam: mint az IT-ben sok mindenhez, az AI-hoz se árt tudni angolul, különben egy csomó dologból kimaradsz.
Egyébként anyumnak hétvégén mutattam ChatGPT-t először, történetesen ott pont egy mankónak szolgáló magyar szöveget írattam vele egy hivatalos dokumentumhoz. Megcsinálta, de azért elég magyartalan lett pár helyen, a toldalékokat és kötőszavakat nem használta mindenütt jól. Mindezek ellenére azért egyáltalán nem rossz úgy hogy csak mellékesen szedte fel a magyart ennyire, direkt nem prioritás
-
DarkByte
addikt
válasz
Mp3Pintyo
#1766
üzenetére
Engem az aktuális sota modellek jobban érdekelnek, pl. a Sesame.
Ez a cucc van olyan szinten mint a ChatGPT Advanced Voice, bizonyos dolgokban még lehet jobb is, hogy látszólag nincs cenzúrázva.
Egy kicsit túl jól hangzik hogy igaz legyen, de elvileg lesz hozzá pár héten belül lokálisan futtatható verzió is Apache licensz alatt. A placeholder repója már megvan.
Hát majd meglátjuk. (Mindenesetre mókás egybeesés, hogy a Her sztorija 2025-ben játszódik) -
DarkByte
addikt
válasz
Mp3Pintyo
#1760
üzenetére
Ott vesztettél el hogy Facebook..
(meg hogy bármi AI-t magyarul használni..)
Na de mindegy, nem én leszek a célközönség. Nem is kell.Mp3Pintyo: 39 vagyok. Használni vagyok kénytelen, mert csomó dolgot máshol nem találsz meg, csoportok és eseményeket ott szerveznek az emberek, bizonyos kis cégek máshol nincsenek is jelen. Plusz szülőkkel is ez az egyedüli digitális kommunikációs lehetőség. De már jó ideje rekord sebességgel becsukom miután megnyitottam és belegörgettem, én szégyenlem magam a butaságtól ami ott megy.
Ennek amúgy részben okozója is a generált AI szemét ami ott van.
Félreértés ne essék, alig van modern közösségi platform ami nem a teljes elhülyülés jeleit mutatja / nem bot-ok által generált haszna nincs okádékkal van tele. (okkal is kezdtem most kicsit többet PH-zni megint, itt még úgy ahogy nem forog velem a világ..) -
consono
nagyúr
válasz
Mp3Pintyo
#1738
üzenetére
Csak a Digits egyelőre még csak egy fel-hype-olt ködös ígéret mindenféle hardver információk nélkül, addig ez egy létező, bejelentett hardverre épülő workstation. Mitől lenne több mindenre jó a Mac Studio? Ez is, meg az is csak egy PC, annyi a különbség, hogy a Framework gépbe több RAM-ot lehet tenni, meg olcsóbb. Ha meg az árról beszélünk, egy 5090 többe kerül, mint itt a teljes konfig, ha kell a (V)RAM szerintem épp ideje elindulni ebbe az irányba...
Remélem lassan jönnek az LLM tesztek is az APU-ról, nem csak a gaming eredmények (az alapján a 4060-4070 teljesítményét hozza). -
5leteseN
senior tag
válasz
Mp3Pintyo
#1723
üzenetére
Biztos van ilyen is. Lesz is.
Én azt látom, hogy olyan gyors a fejlesztés, hogy, hogy aki a (még sokáig jelentős mennyiségű) nVidia 2000-es felhasználókat nem veszi figyelembe, az gyorsan kiszorul a többi univerzálisabb, felhasználó-érzékenyebb AI-szoftver miatt, amik ezt a jelentős létszámú réteget is el szeretnék érni.
Kb órák alatt jönnek ki az újabb verziók, amik pár száz visszajelzés miatt módosulnak. Ha valamelyik szoftver "kell" és kimaradtam belőle a 2080 miatt, bizony én is "dobok" 1-2-3 e-mailt!
Mindezen véleményem mellett jelenleg az átlag felhasználói rétegnek a 3090(Ti) az Etalon. Indokoltan!
Ezért van viszont egy (szerintem, jelentősen) túlárazott helyzetben a 3090 és a Ti, amire pedig nekem van "válaszom"! -
DarkByte
addikt
válasz
Mp3Pintyo
#1701
üzenetére
Ja igen, itt amúgy a függőségek alatt a ComfyUI saját függőségeit értettem. Hiába rakod a ComfyUI-t venv-be, a custom node-ok nincsenek izolálva. Ha van egy bevált installációd és felraksz valami jött ment dolgot ami kicserélget dolgokat, az egészet össze tudja dönteni és azt kibogozni jó móka, általában nulláról újra kell rakni.
Na ebből lett elegem, és így könnyebb egy eldobható környezeten előtesztelni büntetlenül. -
DarkByte
addikt
válasz
Mp3Pintyo
#1701
üzenetére
Attól még hogy conda/venv-et használsz Windows-on (amit használok amúgy), a natív Cython függőséget igénylő dolgok lefordítása ugyanúgy szívás. Pl. insightface vagy dlib ami az InstantID-hez kell. WSL2-n ez tkp. megy magától.
ChiliChili: ha nagyon türelmes vagy ott a YuE. De még 4090-en is lassú. 30mp audio 2,5 perc, szóval egy 3 perces dal az úgy 15+ perc. Nem éppen könnyű vele iteratívan dolgozni. És kb. tavalyi Suno szintet tud, igaz ez se rossz mert eddig semmi se volt ami dalszövegből zenét és vokált is produkál.
Egyelőre napoltam, de majd valamikor vissza akarok rá térni. -
5leteseN
senior tag
válasz
Mp3Pintyo
#1654
üzenetére
Hááát, ezek azok amiknél eddig mindig kiderült, hogy mindent is eladtak, attól függetlenül, hogy minden tikosságosságot (is) megígértek? Kb a ".. zúgy hajjak, meg ha eee-mondom bárkinekis!" szintjén vannak!
..de csak, magunk közt, ne mondjuk el senkinek ezt az eddig, utólag közel 100%-ban bejött igazságot.
Pont a múlt hetek egyikén fizetett közel 100 millát ($) a Microsoft egy USA pertársaságnak(abból is kb 70%-ban az ügyvédeknek), hogy ne érdeklődjenek tovább a lehallgatott és eladott infóik után!
A véleményem, röviden-velősen: "
" -
#1635
SkyTrancer
senior tag
Mp3Pintyo
#1633
SkyTrancer
senior tag
válasz
Mp3Pintyo
#1633
üzenetére
nekem egy 12700k proci meg egy 4080-as vga van a gépben 16GB vram, 32gb ram, akkor itt neki se álljak ? vagy órák mire "generáltatnék" egy két snittet ?
Igen persze utána kell ennek is olvasni meg művelődni persze, csak még nem vettem erőt magamon, mert érdekel minden, csak ebbe még nem folytam bele eléggé.
Hogy mit szeretnék ? én magam sem tudom, megnézni hogy mi van
ezt pl kipróbáltam, hát.... jó
https://huggingface.co/spaces/multimodalart/stable-cascade
Valamivel érdekesebbet szeretnék, mint pl egyszer láttam, hogy van két kép, és a két ember egymást megöleli az vicces, pl ilyesmit
De pl még fogalmam sincs hogy egy ilyen 8-10 másodperces "videó" milyen erőforrással fog nekem itt leművelődni ( deszépszó ) de tekintve hogy csak megnézném semmiképp nem fizetnék elő mert photoshopban megoldok mindent magamnak ( képszerkesztés terén ) szóval csak kíváncsi lennék
Köszönöm az újabb linkeket
-
S_x96x_S
addikt
-
Zizi123
senior tag
-
User_2
tag
válasz
Mp3Pintyo
#1526
üzenetére
mert akkor ingyen átadnák a hang + szöveg adatbázisukat az AI versenytársaknak, mint egy rosetta követ.
ezért gagyi az automatikus feliratozás is, nyilván lehetne jobb is, de inkább valószínű, hogy szándékkal hagyják meg még humán szemlélő számára érthetőnek, de gépek számára már kihívást jelentőnek. -
#1519
hiperFizikus
senior tag
Mp3Pintyo
#1518
hiperFizikus
senior tag
-
repvez
addikt
válasz
Mp3Pintyo
#1503
üzenetére
cursorban is szoktam ott is hasonlo a szituácio egy idő után .
ott kijelzi , hogy mi a változtatás és , hogy akarom e lecserélni .
DE néha van hogy az IDE miatt is bonyolodik a helyzet. Ezért szoktam a cGPT ben van egy phyton addon ami csak programozásra tanitottak és a sima pyton IDE-be bemásolni , eddig ez a kombo jobban bejött. Csak mig a cursorba korlátlan lenne a használat, addig a CGPT egy idő után nem enged irni.
DE lényegében mindegy is melyiket használom, mert a cursornál is egy idő után csak megy a mokuskerék a hiba kijavitására tett kisérletekkel amivel nem haladok elöre.
Pedig azt gondolná az ember, hogy ha elsore megir egy akár több 100 soros kodot ami le is fordul hiba nélkül és azt csinálja amit kérek ,akkro utána csak egy kis részére kéne koncentrálnia a többiet meg változatlanul hagyni ami mukodik.
Főleg mert megirom neki, hogy class-okban OOP alapn irja a kodot, igy valamenynire átláthatóbb és elkülönitett kodot kapok ahol csak egy egy funkciot egy classba kell csinálni , de még igy se jo. -
repvez
addikt
válasz
Mp3Pintyo
#1500
üzenetére
Még mindig programozás phyton,
Amugy köszi a weblapos leirást igen pont ilyesmi a helyzet mint ez a hálál völgy. Csak ugye aki ért a dolgokhoz annak könynebb mert kijavitja a hibát és továblép az AI val egy másik szintre és amig nem jön egy másik megoldhato feladat.
DE nekem aki nem ért a programozhoz, olykor azt is nehéz kitalálnom, hogy amikor csak egy részkodot ir az AI akkor azt hova is kéne másolnom, vagy felul kell e iratni a régit vagy csak mellé tenni.
Van, hogy csak az nem tetszik neki, hogy nem jo helyen van a bekezdés.DE ahért lassacskán haladok, már egy programot nagy nehezen megcsináltattam vele, még mindig vannak amiket finomitanék rajta meg böviteném, de legalább hiba nélkül megy és müködik minden ahogy kell.
DE még van pár amivel szenvedek.
DE legalább már arra rájöttem, hogy oda irom , hogy ne változtasson a meglévő kodon , hogy minden funkcio maradjon meg csak a hibát javitsa ki, igy egy kicsit jobban mukodik. -
S_x96x_S
addikt
válasz
Mp3Pintyo
#1485
üzenetére
hát igen ...
a "Qualcomm X" (+ Windows ) Ollama támogatása _jelenleg_ közel a nullához ...
De talán a DirectML ( NPU ) - Ollama támogatás - ha megvalósul -
részben megoldaná a problémákat.> Nagyságrendekkel lassabb még egy M1-es gépnél is
Tényleg bonyolult,
- Nem árt nativ Arm64 -es binárist futtatni ( talán a WSL2 -n keresztül ); mert bekavarhat
az emuláció ( X86-64 --> Arm64 )
- tisztán CPU ( Snapdr+) vs. CPU (M2) - olyan 10-20% -os eltérés is kihozható.
persze speciálisan quantált Q4 - model is kell;
Vagyis nem kezdőknek való - még. -
repvez
addikt
válasz
Mp3Pintyo
#1477
üzenetére
nem olyan képet generáltam vele amit általában, hanem a kérdésemre adott válaszként egy diagramot rajzolt abbol amit számoltattam vele.
Az a gond, hogy ilyet csak itt tudnék csináltatni, a képgeneráűtorok nem adnának jo eredményt,
Tehát csak ilyen általános AI-val tudnék olyat aminél kérdezuek valamit aminél matematikai számolást és pontos visuális megjelenitést kérek töle. Ehhez szüveget is kell irnia meg pontosan kiszámolni azt amit utána meg kéne jelenitenie az ábrákon, esetleg még kodolni is tudni hozzá. -
válasz
Mp3Pintyo
#1460
üzenetére
Hajlamos lennek egyeterteni, ha csak Debian alatt probaltam volna nV karit hasznalni, de a tapasztalataim sem Ubuntuval, sem Linux Minttel, sem pedig MX Linux-szal nem jok. A Debian nem kinalja fel a driver telepiteset semmilyen GUI-n, repoban viszont ott van. Nos, nalam 9/10 sikertelen kiserlet utan felment, de allandoan visitott a ventije, fordulatszam vezerles nuku. A tobbi disztribucioval felment konnyen, de hasznalhatatlan volt: nem lehetett sorrendet allitani a kijelzokon es persze a ventillator orditasa itt is jatszott.
Na ekkor dontottem el, hogy nV tobbet nem lesz - es nem lehet megvadolni azzal, hogy nem ertek a PC-hez
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1460
üzenetére
> Érdekes minden AI projekt alapja (1000-ből 999) a Linux
> és mindegyik Nvidia videókártyára lett optimalizálva, fejlesztveAz Apple+MLX is erősödik ( ahol egyáltalán nincs Nvidia/CUDA ) és nem is olyan rossz.
A nem Apple-s ökoszisztémában - én inkább 90%-ra becsülön a CUDA - hatást
és egyre több a kihívó, főleg ha a copilot bejön a Microsoft-nak. -
Zizi123
senior tag
válasz
Mp3Pintyo
#1389
üzenetére
Hát nem tudom, de a 8GB RAM, nem tűnik túl acélosnak az alapmodellben.
Ráadásul max 32GB-ra bővíthető +200e-ért.
A 256GB SSD is nagyon kevés még az én AI könyvtáram is jóval nagyobb, pedig nagyon hobbi szinten nyomom. Természetesen +100 +200 +400e-ért bővíthető ez is.
De ha akkor meg már 700e-ért olyan PC-t lehet kapni ami agyonveri a Macmini-t... -
-
consono
nagyúr
válasz
Mp3Pintyo
#1374
üzenetére
Annyira nem, mint gondoltam, CPU-n kipróbáltam a céges gépen, ránézésre nem hülyeség a kód, amit írt. De csak rövid scriptet írattam vele
Mikor mutattam neki egy bash scriptet, arról is egész jól megmondta, hogy mit csinál. Meg is lepődtem...
Gondolom akkor a nagy model tényleg igazán ügyes! -
Paxker315
veterán
válasz
Mp3Pintyo
#1322
üzenetére
Esetleg van olyan eszköz, ami képes szkematikus ábrákat generálni, akár megadott példa-minta alapján, akár szöveges információra? Nagyban segíthetne. Nem akarok a biorenderre előfizetni, és elég rudimenterek a vizuális képességeim.
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1322
üzenetére
> Forrás kutatás: https://chatgpt.com/g/g-L2HknCZTC-scholar-ai
ez tényleg jónak tűnik.
Legalább van mögötte rendes adatbázis.
és ez a konkrét weboldaluk: https://scholarai.io/// habár szerintem egy egyszerű python programmal és jó pár API hívással,
ki lehet váltani ezt is - de az esetek 95%-ban nem éri meg a macera // -
S_x96x_S
addikt
válasz
Mp3Pintyo
#1316
üzenetére
> A legjobb fordítók jelenleg a nagy nyelvi modellek.
egyetértek.
meg lehet adni a stílust, a szakmai zsargon fokozatát,
és még stílus mintát is meg lehet adni, ami még egyértelműbbé teszi a fordítási követelményeket.> Mivel nálad elég specifikus a feladat tehát könyvet kell fordítani
vannak egyszerű python programok, amelyek feldarabolják - és egymás után automatikusan meghívják a nagy nyelvi modelleket.
válogatni kell ( https://github.com/topics/translator-app )pl egy egyszerű
https://github.com/richawo/llm-translator
- Accepts Plain Text/Markdown file as input
- Tokenizes input text using tiktoken
- Splits input into chunks at multiple newlines
- Sends each chunk to OpenAI for translation
- Reconstructs translated output with original formattingkézzel be kell állítani a nyelveket a bulk-translate.py -ben
input_language = "english"output_language = ["french","german","italian","spanish","japanese","korean","chinese_simplified","russian","portuguese",]a prompt az egyszerű - de azt is át lehet irni:
system_prompt = f"You are a translation tool. You receive a text snippet from a file in the following format:\n{format}\n\n. The file is also written in the language:\n{input_language}\n\n. As a translation tool, you will solely return the same string in {lang} without losing or amending the original formatting. Your translations are accurate, aiming not to deviate from the original structure, content, writing style and tone."
és csak az automatizálást végzi el, hogy ne kelljen kézzel feldarabolni és manuálisan elküldeni a szöveget.
-
5leteseN
senior tag
válasz
Mp3Pintyo
#1274
üzenetére
"...
ApplicationsGraphRAG: running Microsoft's
GraphRAGusing local LLM withipex-llm
RAGFlow: runningRAGFlow(an open-source RAG engine) withipex-llm
LangChain-Chatchat: runningLangChain-Chatchat(Knowledge Base QA using RAG pipeline) withipex-llm
Coding copilot: runningContinue(coding copilot in VSCode) withipex-llm
Open WebUI: runningOpen WebUIwithipex-llm
PrivateGPT: runningPrivateGPTto interact with documents withipex-llm
Dify platform: runningipex-llminDify(production-ready LLM app development platform)
..."
-
S_x96x_S
addikt
válasz
Mp3Pintyo
#1258
üzenetére
> úgy, hogy összehasonlítom egy eredetileg is akkora erőforrás igényű
> másik modellel a nagyon kvantált verziót. Egy 7B-s modell közel a felére csökken.Az ollama -ban most is vannak q2,q3,q4,q5,q6,... -ra quantált verziók,
amelyek valószínűleg még nem VPTQ -val készültek.
Azokkal is érdemes lenne összehasonlítani.pl.
"ollama run llama3.1:8b-instruct-q2_K" ~ 3.2GBvagy: https://ollama.com/library/llama3.1/tags
8b-instruct-q3_K_S
16268e519444 • 3.7GB • Updated 3 weeks ago
8b-instruct-q3_K_M
4faa21fca5a2 • 4.0GB • Updated 3 weeks ago
8b-instruct-q3_K_L
04a2f1e44de7 • 4.3GB • Updated 3 weeks ago
8b-instruct-q4_0
42182419e950 • 4.7GB • Updated 3 weeks ago -
consono
nagyúr
válasz
Mp3Pintyo
#1231
üzenetére
A 2b-s Gemma 2-re visszatérve egy gondolat erejéig: lehet, hogy a közvélekedés nem túl jó róla, de a Llama3.2 3b-s modelljével szemben a Gemma2 2b-je tudott nekem egy magyar cikkből értelmesen válaszolni meg összefoglalót csinálni, igaz angol nyelven. A LLama 3.2 meg csak hablatyolt össze vissza random dolgokat kiszedve a szövegből, igaz azt megpróbálta magyarul...
-
repvez
addikt
válasz
Mp3Pintyo
#1245
üzenetére
szövegként másoltam be neki nem fájként töltöttem fel.
PEdig azt hittem, hogy hasonloan jol fog mukorni mint a phytonos modul.
Ahhoz amugy találktam a cursor.io alkalmazást aminél bármenynit tudok kérdezni és látszolag nem volt korlátja, viszont van egy pont aminél bármit is irok neki látszolag csinál valamit, de a végeredményben nem lesz változás vagy csak hiba, de nem lesz kijavitva vagy hozzáadva plusz dolog . -
Kékes525
félisten
válasz
Mp3Pintyo
#1239
üzenetére
Igen a túlterhelés gyakran a válaszainak a minőségében is meglátszik. Sokszor előfordul, hogy alapvető hibákat vét, máskor ugyanarról egészen jól el lehet beszélgetni vele. Mintha a leterheléstől függően különböző erőforrásokhoz tudna hozzáférni és ez meglátszik a válaszok minőségén is.
-
consono
nagyúr
válasz
Mp3Pintyo
#1235
üzenetére
Jó a Groq, de én offline kísérletezgetek, mert igazán az érdekel. Mostanában a Flowise-al játszadozom
Ja, a tegnapi kijelentésemmel ellentétben nem reménytelen teljesen a magyar válasz kicsikarása sem, van pár magyar modell, ami lehet, hogy önmagában buta, de RAG-gal tud értelmes választ adni, akár angol dokumentumokból is. Mondjuk magyar doksival még nem is próbáltam -
-
scream
veterán
válasz
Mp3Pintyo
#1212
üzenetére
Amúgy ezek a modellek csak CPU-val (esetleg APU-val kiegészítve) futtatva mennyire tudnak használhatóan futni? Nyilván tudom/értem, hogy egy nagyteljesítményű VGA-val gyorsabb/jobb ezeknek a használata, csak hogy már tart-e ott a dolog, hogy adott esetben egy APU-val el-el lehessen lenni local-ban.
-
-
consono
nagyúr
válasz
Mp3Pintyo
#1212
üzenetére
Tudom, hogy tök jó az Open WebUI, de az, hogy vagy docker kell hozzá, vagy python parancssorból, szerintem sok embert eltántorít, főleg aki most kezdi. Ezért jövök a Msty-vel mindig: az Mac-en meg Windowson is "rendes" alkalmazásként telepíthető és nem annyira ijesztő
-
-
consono
nagyúr
válasz
Mp3Pintyo
#1187
üzenetére
Mondjál már pár tippet, hogy mi mindenre lehet használni? Mert én még mindig keresem a killer appot
Nekem max akkor segít, ha megakadok valami programozási feladatban, vagy algoritmussal, de sem a munkámban, sem a magánéletemben nem igazán látom még az átütő hasznát...
... Az RTX PRO 6000 Blackwell 
. Ha rossz választ ad elsőre miért nem próbálsz feedbackelni? Hiszen ez a fejlesztés tényleges folyamata. Gyakran nem ad elsőre jó választ, de ha meg tudod mondani neki, hogy mi a baj, akkor gyakran el lehet jutni egy működő verzióhoz. Én arra lennék kíváncsi, hogy így meddig lehet eljutni egy modellel. (pl. eddig a deepseek 70b modell lokális futtatása volt a cél, de most elbizonytalanodtam, hogy tényleg megfelelő-e)
![;]](http://cdn.rios.hu/dl/s/v1.gif)
), de kétszeres méretű LLM-ekkel tudok dolgozni, az egy 2080Ti-nél valamivel( még nem tudni mennyivel 
) lassabban?
: "Nagyon "kicsi" magyar adatkészleten történt a tanítás."
Ennek amúgy részben okozója is a generált AI szemét ami ott van.
Új hozzászólás Aktív témák
Hirdetés
- Gyúrósok ide!
- Audi, Cupra, Seat, Skoda, Volkswagen topik
- Egyre csak fejlődik az AI, emberek tízezreit rúgja majd ki a BT
- AliExpress tapasztalatok
- Interactive Brokers társalgó
- Otthoni hálózat és internet megosztás
- D1Rect: Nagy "hülyétkapokazapróktól" topik
- Medence topik
- PlayStation 5
- Xiaomi 15 - kicsi telefon nagy energiával
- További aktív témák...
- Kaspersky, McAfee, Norton, Avast és egyéb vírusírtó licencek a legolcsóbban, egyenesen a gyártóktól!
- AKCIÓ! Intel Core i7 7700K 4 mag 8 szál processzor garanciával hibátlan működéssel
- Bomba ár! Dell Latitude E7250 - i7-5GEN I 8GB I 256SSD I 12,5" HD I HDMI I Cam I W10 I Garancia!
- BESZÁMÍTÁS! Gigabyte A620M R5 7600 32GB DDR4 512GB SSD RTX 5060 Ti 16GB Zalman i3 NEO Enermax 650W
- Eladó Új Motorola G31 4/64GB szürke / 12 hónap jótállással!
Állásajánlatok
Cég: PC Trade Systems Kft.
Város: Szeged
Cég: Promenade Publishing House Kft.
Város: Budapest