Yra keletas Python bibliotekų ir schemų, skirtų duomenims iš žiniatinklio išgauti. Kiekvienas pradeda nuo konkretaus įrankio, kol supranta, kad jis gali būti netinkamiausias kitam projektui. Nors mažai tikėtina, kad naudosite visus „Python“ įrankius viename projekte, turėtumėte žinoti, kuriuos iš jų turėtumėte turėti savo žiniatinklio rinkimo įrankių rinkinyje.
Čia yra geriausios Python bibliotekos, sistemos ir kiti įrankiai, kurie padės be vargo išgauti duomenis iš žiniatinklio.
1. Graži sriuba
Pradedant sąrašu nuo geriausios žiniatinklio rinkimo bibliotekos pradedantiesiems: Graži sriuba. Iš esmės tai įrankis, kuris išgauna duomenis iš analizuojamų HTML ir XML failų, paversdamas dokumentą Python objektu.
Gražios sriubos „grožis“ slypi jos paprastume. Tai lengva nustatyti ir jūs galite pradėkite nuo pirmojo žiniatinklio rinkimo projekto per minutes. „Beautiful Soup“ naudoja hierarchinį duomenų išgavimo iš HTML dokumento metodą. Elementus galite išgauti naudodami žymas, klases, ID, pavadinimus ir kitus HTML atributus.
Tačiau tikėtis daugiau iš „Beautiful Soup“ būtų per toli. Nėra įtaisytosios tarpinės programinės įrangos ir kitų išplėstinių funkcijų, pvz., tarpinio serverio sukimosi ar kelių gijų, palaikymo. Naudodami Gražią sriubą, jums reikia bibliotekų, kad galėtumėte siųsti HTTP užklausas, analizuoti atsisiųstą dokumentą ir eksportuoti nukopijuotą informaciją į išvesties failą.
2. prašymus
užklausos yra neabejotinai dažniausiai naudojama Python biblioteka HTTP užklausoms tvarkyti. Įrankis atlaiko savo šūkį: HTTP for Humans™. Jis palaiko kelis HTTP užklausų tipus, nuo GET ir POST iki PATCH ir DELETE. Negana to, galite valdyti beveik visus užklausos aspektus, įskaitant antraštes ir atsakymus.
Jei tai skamba lengvai, būkite tikri, nes užklausos taip pat yra skirtos patyrusiems vartotojams, turintiems daugybę funkcijų. Galite žaisti su užklausa ir tinkinti jos antraštes, įkelti failą į serverį naudodami POST ir tvarkyti skirtąjį laiką, peradresavimus ir seansus, be kita ko.
užklausos paprastai siejamos su „Beautiful Soup“, kai kalbama apie žiniatinklio rinkimą, nes kitose „Python“ sistemose yra integruotas HTTP užklausų apdorojimo palaikymas. Norėdami gauti tinklalapio HTML, naudokite užklausas, kad serveriui išsiųstumėte GET užklausą, tada iš atsakymo ištraukite tekstinius duomenis ir perduokite juos „Beautiful Soup“.
3. Skrepi
Kaip rodo pavadinimas, „Scrapy“ yra „Python“ sistema, skirta kurti didelio masto žiniatinklio grandiklius. Tai Šveicarijos armijos peilis duomenims iš žiniatinklio išgauti. „Scrapy“ tvarko viską nuo užklausų siuntimo ir tarpinių serverių diegimo iki duomenų išgavimo ir eksportavimo.
Kitaip nei „Beautiful Soup“, tikroji „Scrapy“ galia yra jos sudėtingas mechanizmas. Tačiau neleiskite, kad šis sudėtingumas jūsų baugintų. Scrapy yra efektyviausia žiniatinklio grandymo sistema šiame sąraše greičio, efektyvumo ir funkcijų požiūriu. Jame yra parinkikliai, leidžiantys pasirinkti duomenis iš HTML dokumento naudojant XPath arba CSS elementus.
Papildomas pranašumas yra greitis, kuriuo Scrapy siunčia užklausas ir ištraukia duomenis. Jis siunčia ir apdoroja užklausas asinchroniškai ir tuo išskiria jį iš kitų žiniatinklio rinkimo įrankių.
Be pagrindinių funkcijų, jūs taip pat palaikote tarpinę programinę įrangą, kuri yra kabliukų sistema, kuri suteikia papildomų funkcijų numatytajam Scrapy mechanizmui. Negalite ištraukti JavaScript pagrįstų svetainių naudodami „Scrapy“, tačiau galite naudoti tarpinę programinę įrangą, pvz., „Scrapy-selen“, „Scrapy-splash“ ir „Scrapy-scrapingbee“, kad įgyvendintumėte šią funkciją savo projekte.
Galiausiai, kai baigsite išgauti duomenis, galėsite juos eksportuoti įvairiais failų formatais; CSV, JSON ir XML.
„Scrapy“ yra viena iš daugelio priežasčių, kodėl „Python“ yra geriausia programavimo kalba visiems, norintiems kaupti žiniatinklį. Pirmojo „Scrapy“ projekto nustatymas gali užtrukti, ypač jei neturite patirties su Python klasėmis ir sistemomis. „Scrapy“ darbo eiga yra suskirstyta į kelis failus ir pradedantiesiems tai gali pasirodyti kaip neprašyta sudėtinga.
4. Selenas
Jei norite nuskaityti dinamišką, „JavaScript“ pateiktą turinį, selenas yra tai, ko jums reikia. Kaip kelių platformų žiniatinklio testavimo sistema, „Selenium“ padeda pateikti HTML, CSS ir „JavaScript“ ir išgauti tai, ko reikia. Taip pat galite imituoti tikrą naudotojo sąveiką naudodami klaviatūros ir pelės veiksmus, o tai visiškai pakeičia žaidimą.
Selenas sukuria naršyklės egzempliorių naudodamas žiniatinklio tvarkyklę ir įkelia puslapį. Kai kurios populiarios „Selenium“ palaikomos naršyklės yra „Google Chrome“, „Mozilla Firefox“, „Opera“, „Microsoft Edge“, „Apple Safari“ ir „Internet Explorer“. Jame naudojami CSS ir XPath ieškikliai, panašūs į Scrapy selektorius, kad būtų galima rasti ir ištraukti turinį iš HTML elementų puslapyje.
Jei neturite patirties dirbant su Python, bet mokate kitas programavimo kalbas, galite naudoti Selenumą su C#, JavaScript, PHP, Perl, Ruby ir Java.
Vienintelis apribojimas yra tas, kad Selenium paleidžia žiniatinklio naršyklę fone, todėl ištekliai, reikalingi grandikliui vykdyti, žymiai padidėja, lyginant su Scrapy arba Beautiful Soup. Tačiau atsižvelgiant į papildomas seleno funkcijas, tai visiškai pateisinama.
5. urllib
Python urllib biblioteka yra paprastas, bet būtinas įrankis, kurį galite turėti žiniatinklio rinkimo arsenale. Tai leidžia tvarkyti ir apdoroti URL adresus jūsų Python scenarijuose.
Tinkamas praktinis urllib pritaikymas yra URL modifikavimas. Apsvarstykite, kad tvarkote svetainę su keliais puslapiais ir turite pakeisti dalį URL, kad patektumėte į kitą puslapį.
urllib gali padėti išanalizuoti URL ir padalyti jį į kelias dalis, kurias galėsite modifikuoti ir išanalizuoti, kad sukurtumėte naują URL. Naudoti biblioteką eilėms analizuoti gali atrodyti per daug, urllib yra gelbėjimo priemonė žmonėms, kurie savo malonumui koduoja žiniatinklio grandiklius ir nenori įsitraukti į niūrias duomenų struktūras.
Be to, jei norite ištirti svetainės robots.txt, kuris yra tekstinis failas, kuriame yra „Google“ tikrinimo programos ir kitų grandiklių prieigos taisyklės, „urllib“ taip pat gali padėti. Rekomenduojama sekti svetainės robots.txt ir nubraukti tik tuos puslapius, kurie yra leidžiami.
6. JSON, CSV ir XML bibliotekos
Kadangi „Beautiful Soup“ arba „Selenium“ neturi integruotų funkcijų duomenims eksportuoti, jums reikės „Python“ bibliotekos eksportuoti duomenis į JSON, CSV arba XML failą. Laimei, yra daugybė bibliotekų, kurias galite padaryti, kad tai pasiektumėte, ir rekomenduojamos pačios paprasčiausios, būtent json, csv ir xml atitinkamai JSON, CSV ir XML failams.
Tokios bibliotekos leidžia sukurti failą, pridėti prie jo duomenų ir galiausiai eksportuoti failą į vietinę saugyklą arba nuotolinį serverį.
7. Mechaninė sriuba
Mechaninė sriuba? Ar tai pigus gražios sriubos apiplėšimas? Ne. Įkvėptas Mechanizuoti ir pagal Python užklausas bei „Beautiful Soup“, „MechanicalSoup“ padeda automatizuoti žmonių elgesį ir išgauti duomenis iš tinklalapio. Galite tai laikyti pusiaukelėje tarp Gražios sriubos ir seleno. Vienintelis laimikis? Jis netvarko „JavaScript“.
Nors pavadinimai panašūs, „MechanicalSoup“ sintaksė ir darbo eiga labai skiriasi. Naršyklės sesiją kuriate naudodami „MechanicalSoup“, o kai puslapis atsisiunčiamas, naudojate „Beautiful Soup“ metodus, pvz. rasti () ir rasti_viską() norėdami išgauti duomenis iš HTML dokumento.
Kita įspūdinga „MechanicalSoup“ savybė yra ta, kad ji leidžia užpildyti formas naudojant scenarijų. Tai ypač naudinga, kai reikia ką nors įvesti lauke (pavyzdžiui, paieškos juostoje), kad patektumėte į puslapį, kurį norite nuskaityti. „MechanicalSoup“ užklausų tvarkymas yra puikus, nes jis gali automatiškai apdoroti peradresavimus ir sekti nuorodas puslapyje, todėl jums nereikės rankiniu būdu koduoti skyrių.
Kadangi ji sukurta remiantis gražia sriuba, abiejų šių bibliotekų trūkumai labai sutampa. Pavyzdžiui, nėra integruoto metodo duomenų išvesties, tarpinio serverio sukimosi ir „JavaScript“ pateikimo tvarkymui. Vienintelė „Beautiful Soup“ problema, kurią išsprendė „MechanicalSoup“, yra užklausų apdorojimo palaikymas, kuris buvo išspręstas užkodavus Python užklausų bibliotekos paketą.
Palengvėjo žiniatinklio rinkimas naudojant Python
Be jokios abejonės, „Python“ yra galinga programavimo kalba žiniatinklyje, tačiau naudojami įrankiai yra tik dalis problemos. Svarbiausia problema, su kuria žmonės susiduria koduodami grandiklį, yra HTML dokumentų hierarchijos mokymasis.
Jei norite sukurti pažangius žiniatinklio grandiklius, būtina suprasti tinklalapio struktūrą ir žinoti, kaip greitai rasti elementą.
