-
Mobilarena
Új hozzászólás Aktív témák
-
Drizzt
nagyúr
válasz
bmatthun #16364 üzenetére
Én anno csináltam ilyen scrapert, de a google eléggé gyorsan le is tiltotta az IP címet, ahonnan futtattam. Nem tudtam előre, de a google felhasználói feltételei között ott van, hogy ilyen célokra tilos a használata, s az elkövető tiltásával jár. Mondjuk ez vagy 15 éve volt, nem tudom megengedőbb lett-e a szabályzat. Nem hinném.
Én a html-ből próbáltam 1-2 heurisztika alapján parseolni, néha egész sikeresen, de hasonló mértékben egészen sikertelenül. Az eredményeket valamilyen db-be írtam, aztán kézzel átnéztem őket. -
Hege1234
addikt
válasz
bmatthun #16364 üzenetére
én nem biztos, hogy jól értem mit szeretnél
de ha arra gondolsz, hogy pl azokat összeszedni amik a linken
bal oldlaon vannak
[link]
sztem megoldható pl. python-al és a beautifulsoup modullal
(de lehet van rá jobb megoldás is)
csak hát ugye kérdéses, hogy az éttermek mennyi adatot töltenek ki...
az összes telefonszám pl. ebben van <a class="fl"
az étterem nevei pedig itt <div class="dbg0pd" aria-level="3" role="heading">
erre szűrve role="heading" így gondolom az étterem nevei is kinyerhetőek
többire nem kerestem rá, és mivel egy csomó helyen random generált div nevek vannak
nem tudom, hogy így megoldható lenne ezzel a módszerrel
többiek akik itt jobban értenek hozzá biztos tudják, hogy érdemes e ezzel így megoldaniha elmélyednél a témában akkor a web scraping-re keress rá
-
coco2
őstag
válasz
bmatthun #16364 üzenetére
Egyik webrobot sem tud gondolkodni, pláne nem gondolatolvasók. Google összes találata a legközelebbi, amit kaphatsz. Pld mit nevezel étteremnek? Utcai morning-only kávés büfétől a sok csillagos szállodai éttermekig a szivárvány 16 millió színével mind festhetnél egy átmenetet közöttük.
Egyenlőre nem elterjedt szokvány az open graph a weben. Név, cím, olyasmi, nem gyűjthető le előreszámítható és egyforma módszerrel mindenhonnét. Ahogy a haladási sebességet elnézem, majd 10 év múlva kérdezz rá újra - még akkor sem leszel lekésve semmiről.
Ha vannak Arany Oldalak, Cégkódex, vagy mittudomén miféle kiadványok, azok szerkesztve adnak adatokat. Sajnos, tekintettel a covid-ra, ami 1 évnél régebbi adat (a web 10 éves szeméttel van tele, de azok a kiadványok is lehetnek 1 évnél régebbi adatból szerkesztve), arról csak akkor fogod tudni, még tényleg létezik-e az étterem, ha személyesen odamész arra a címre.
Szóval döntsd el, mennyi pénzt szeretnél rá elkölteni. Törődj bele, hogy azt előre fogod valakinek odaadni. Különben a normálisabbja szóba sem áll veled. Aztán kapni fogsz valamit, amit a problémához mérten annyi pénzből az a kóder digitális formában adott. És majd utólag meglátod, mennyi az eltérés a virtuális valóság, és a kézzel fogható gyakorlat között.
Cheers
Új hozzászólás Aktív témák
Hirdetés
● olvasd el a téma összefoglalót!
- Sapphire Pulse RX 6600 XT - eladó!
- ÚJ DELL XPS 14 9440 PROFI Laptop, -70% 14,5" Ultra 7 155H 12Mag 16/512 FHD+ 120Hz /Millió! Ft/
- Vadonat új garanciás laptopok hihetetlen áron! Szeptember Októberi lista! Razer blade zephyrus
- ÚJ HP ENVY x360 Érintős Hajtogatós Laptop Tab -30% 15,6" AMD RYZEN 7 7730U 8Mag 16/1TB FHD
- 512MB (3db) - 1GB (16db) - 2GB (21db) DDR2 RAM-ok (és RAM-Kitek)
- ÁRGARANCIA!Épített KomPhone Ryzen 7 7800X3D 32/64GB RAM RTX 5070 12GB GAMER PC termékbeszámítással
- Dell Optiplex 7050 SFF + Quadro K620
- ÁRGARANCIA!Épített KomPhone Ryzen 7 9800X3D 32/64GB RAM RX 9070 XT 16GB GAMER PC termékbeszámítással
- GYÖNYÖRŰ iPhone 13 mini 128GB Blue -1 ÉV GARANCIA - Kártyafüggetlen, MS3047, 94% Akkumulátor
- GYÖNYÖRŰ iPhone 12 Pro Max 128GB Blue -1 ÉV GARANCIA - Kártyafüggetlen, MS2107, 100% Akkumulátor
Állásajánlatok
Cég: Laptopműhely Bt.
Város: Budapest
Cég: PCMENTOR SZERVIZ KFT.
Város: Budapest