Kaip importuoti interneto NSO stebėjimų duomenis į „Google“ skaičiuoklę

Skelbimas

Kalbant apie internetines duomenų bazes ir informaciją, kurią galima rasti vadinamojoje „nematomas tinklas 12 geriausių paieškos sistemų, skirtų nematomam žiniatinkliui tyrinėti„Google“ ar „Bing“ negali ieškoti visko. Norėdami tyrinėti nematomą žiniatinklį, turite naudoti šias specialias paieškos sistemas. Skaityti daugiau “, nesu jūsų tipinis vartotojas. Žinoma, aš praleidžiu šiek tiek per daug laiko naršydamas internetines duomenų bazes tokiose vietose kaip Nacionalinis archyvas ir CŽV FOIA kambarys, bet turiu pasakyti, kad niekas manęs nesujaudina labiau, nei tada, kai randu HTML pagrįstą lentelę, užpildytą iš pažiūros sudėtingų ir nesusijusių dalykų. duomenis.

Faktas yra tas, kad duomenų lentelės yra svarbių tiesų aukso kasykla. Duomenis dažnai renka armijos duomenų rinkimo niurzgėtojai su batais ant žemės. Žmonės iš JAV surašymo keliauja po visą šalį ieškodami namų ir šeimos informacijos. Turite ne pelno siekiančias aplinkosaugos grupes, kurios renka įvairiausią įdomią informaciją apie aplinką, taršą, visuotinį atšilimą ir kt. O jei domitės paranormaliais reiškiniais ar ufologija, čia taip pat nuolat atnaujinamos informacijos lentelės apie keistų objektų pastebėjimus danguje virš mūsų.

Ironiška, bet jūs manote, kad bet kuriai pasaulio vyriausybei būtų įdomu sužinoti, kokia Užsienio laivai pastebimi danguje virš bet kurios šalies, bet, matyt, ne – bent jau ne JAV. šiaip. Amerikoje neįprastų amatų stebėjimų kolekcija buvo perkelta į mėgėjų mėgėjų komandas, kurios plūsta į naujus NSO stebėjimus kaip kandys į liepsną. Mano susidomėjimas šiais reginiais iš tikrųjų kyla ne iš susižavėjimo ateiviais ar amatais iš kitų planetų, o iš mokslinio susižavėjimo raštais – kur ir kodėl daugiau žmonių mato dalykus danguje ir ar tie stebėjimai gali atspindėti kažką labai tikro ir daug žemiškesnio. įjungta.

Norėdamas ištirti NSO mėgėjų komandų surinktų duomenų kiekį, iš tikrųjų sukūriau būdą, kaip importuoti dideles HTML lenteles. duomenis į „Google“ skaičiuoklę, tada manipuliuokite ir analizuokite tuos duomenis, kad gautumėte ir atrastumėte prasmingus ir svarbius informacija. Šiame straipsnyje ketinu parodyti, kaip tai padaryti.

Svarbūs HTML duomenys į „Google“ skaičiuoklę

Šiame pavyzdyje parodysiu, kaip importuoti duomenis, kurie gali būti saugomi bet kurios interneto svetainės lentelėje, į „Google“ skaičiuoklę. Pagalvokite apie didžiulį duomenų kiekį, kurį šiandien galima rasti internete HTML lentelių pavidalu. Vien Vikipedijoje yra duomenų lentelėse tokiomis temomis kaip globalinis atšilimas, JAV surašymo biuras turi daugybę gyventojų duomenų rinkinius, ir šiek tiek paieškojus „Google“ sužinosite daug daugiau.

Savo pavyzdyje pradedu nuo Nacionalinio NSO ataskaitų centro duomenų bazės, kuri iš tikrųjų atrodo, kad tai gali būti užklausos tipo giliojo žiniatinklio duomenų bazė, bet jei pastebėsite URL struktūrizavimas, tai iš tikrųjų yra pusiau sudėtinga žiniatinklio ataskaitų teikimo sistema, kurią sudaro statiniai tinklalapiai ir statinės HTML lentelės – būtent tai, ko norime, kai ieškome duomenų importuoti.

NUForc.org yra viena iš tų organizacijų, kuri yra vienas didžiausių pranešimų apie NSO stebėjimus centrų. Tai ne vienintelis, bet pakankamai didelis, kad būtų galima rasti naujų duomenų rinkinių su dabartiniais kiekvieno mėnesio stebėjimais. Galite pasirinkti peržiūrėti duomenis, surūšiuotus pagal tokius kriterijus kaip būsena arba data, ir kiekvienas iš jų pateikiamas statinio puslapio forma. Jei rūšiuojate pagal datą ir spustelėsite naujausią datą, pamatysite, kad ten pateikta lentelė yra statinis tinklalapis, pavadintas pagal datos formatą.

Taigi, dabar turime schemą, kaip reguliariai iš šios HTML pagrįstos duomenų bazės išgauti naujausią informaciją apie pastebėjimus. Viskas, ką jums reikia padaryti, tai importuoti pirmąją lentelę, naudoti naujausią įrašą (viršutinį), kad identifikuotumėte naujausią naujinimą, tada naudokite to paskelbimo datą, kad sukurtumėte URL nuorodą, kurioje yra naujausia HTML duomenų lentelė egzistuoja. Norėdami tai padaryti, paprasčiausiai reikės kelių ImportHTML funkcijos egzempliorių ir kelių kūrybingų teksto manipuliavimo funkcijų panaudojimo. Kai baigsite, turėsite vieną šauniausių, savaime atnaujinamų ataskaitų skaičiuoklių. Pradėkime.

Lentelių importavimas ir duomenų apdorojimas

Pirmas žingsnis, žinoma, yra sukurti naują skaičiuoklę.

Taigi, kaip importuoti HTML lenteles? Viskas, ko jums reikia, yra URL, kuriame yra saugoma lentelė, ir lentelės numeris puslapyje – paprastai pirmasis sąraše yra 1, antrasis yra 2 ir pan. Kadangi žinau tos pirmosios lentelės, kurioje pateikiamos nurodytos datos ir stebėjimų skaičius, URL, galima importuoti į A1 langelį įvedus šią funkciją.

=importuotihtml(“ http://www.nuforc.org/webreports/ndxpost.html?”&H2,”table”,1)

H2 turi funkciją "=valanda (dabar ())“, todėl lentelė bus atnaujinama kas valandą. Tai tikriausiai yra kraštutinė duomenims, kurie tai atnaujinami retai, todėl tikriausiai galėčiau tai daryti kasdien. Bet kokiu atveju aukščiau pateikta ImportHTML funkcija pateikia lentelę, kaip parodyta toliau.

Šiame puslapyje turėsite šiek tiek manipuliuoti duomenimis, kad galėtumėte sujungti antrosios lentelės URL su visais NSO stebėjimais. Bet eikite į priekį ir sukurkite antrą darbaknygės lapą.

Prieš bandant sukurti antrąjį lapą, laikas iš šios pirmosios lentelės ištraukti paskelbimo datą, kad būtų sukurta nuoroda į antrąją lentelę. Problema ta, kad data įvedama kaip datos formatas, o ne kaip eilutė. Taigi, pirmiausia turite naudoti funkciją TEXT, norėdami konvertuoti ataskaitos paskelbimo datą į eilutę:

=tekstas (A2,mm/dd/yy)

Kitame langelyje dešinėje turite naudoti SPLIT funkciją su skyrikliu „/“, kad suskirstytumėte datą į mėnesį, dieną ir metus.

=padalytas (D2"/")

Gražiai atrodo! Tačiau kiekvienas skaičius turi būti sudarytas iš dviejų skaitmenų. Tai galite padaryti langeliuose, esančiuose tiesiai po jais, naudodami komandą TEXT.

=tekstas (E2,00″)

Formatas „00“ (tai yra nuliai) įpareigoja du skaitmenis arba „0“ kaip rezervuotą vietą.

Dabar esate pasirengę iš naujo sukurti visą URL į naujausią naujų pastebėjimų HTML lentelę. Tai galite padaryti naudodami funkciją CONCATENATE ir sujungdami visus informacijos, kurią ką tik ištraukėte iš pirmosios lentelės, bitus.

=sujungti(“ http://www.nuforc.org/webreports/ndxp”,G3,E3,F3,”.html”)

Dabar naujame aukščiau sukurtame lape (tuščiame lape) atliksite naują funkciją „importhtml“, bet šį kartą pirmą kartą URL nuorodos parametras, todėl grįšite į pirmąją skaičiuoklę ir spustelėkite langelį su ką tik sukurta URL nuoroda.

Antrasis parametras yra "lentelė", o paskutinis - "1" (nes stebėjimų lentelė yra pirmoji ir vienintelė puslapyje). Paspauskite Enter ir dabar ką tik importavote visą tą konkrečią dieną paskelbtų stebėjimų kiekį.

Taigi, tikriausiai manote, kad tai gražus naujovės veiksmas ir viskas – juk tai, ką padarėte, yra išgauta esamą informaciją iš lentelės internete ir perkėlė ją į kitą lentelę, nors ir privačią „Google“ dokumentuose sąskaitą. Taip, tai tiesa. Tačiau dabar, kai tai yra jūsų asmeninėje „Google“ dokumentų paskyroje, po ranka turite įrankius ir funkcijas, kad galėtumėte geriau analizuoti tuos duomenis ir pradėti atrasti nuostabius ryšius.

Suvestinių ataskaitų naudojimas importuotiems duomenims analizuoti

Visai neseniai parašiau straipsnį apie naudojimą Suvestinės ataskaitos „Google“ skaičiuoklėje Tapkite ekspertu duomenų analitiku per naktį naudodami „Google“ skaičiuoklės ataskaitų įrankiusAr žinojote, kad vienas iš geriausių įrankių duomenų analizei atlikti iš tikrųjų yra „Google“ skaičiuoklė? To priežastis yra ne tik tai, kad jis gali padaryti beveik viską, ko galbūt norėsite... Skaityti daugiau atlikti visokius šaunius duomenų analizės žygdarbius. Na, jūs galite atlikti tą pačią nuostabią duomenų analizės akrobatiką su duomenimis, kuriuos importavote iš interneto - suteikia galimybę atskleisti įdomius ryšius, kurių galbūt niekas kitas anksčiau neatskleidė tu.

Pavyzdžiui, iš galutinių stebėjimų lentelės galiu nuspręsti naudoti suvestinės ataskaitą, kad pažvelgčiau į skirtingos unikalios formos, apie kurias pranešta kiekvienoje valstybėje, palyginti su bendru stebėjimų skaičiumi toje konkrečioje valstybėje valstybė. Galiausiai taip pat išfiltruoju viską, kas paminėta „ateiviai“ komentarų skiltyje, kad, tikiuosi, būtų pašalinta kai kurie spyruokliškesni įrašai.

Tai iš tikrųjų atskleidžia keletą gana įdomių dalykų, pavyzdžiui, tai, kad Kalifornijoje neabejotinai yra aukščiausia bet kurioje kitoje valstybėje praneštų pastebėjimų skaičius, taip pat didžiausias plaukiojančių priemonių formų skaičius šioje valstybėje. Šalis. Tai taip pat rodo, kad Masačusetsas, Florida ir Ilinojus taip pat yra dideli NSO stebėjimų departamento žaidėjai (bent jau naujausiais duomenimis).

Kitas puikus „Google“ skaičiuoklės dalykas yra platus jums prieinamų diagramų pasirinkimas, įskaitant geografinį žemėlapį, leidžiantį grafiniu formatu išdėliokite duomenų „karštuosius taškus“, kurie tikrai išsiskirtų ir sudarytų gana patikimus ryšius tarp duomenų aiškus.

Jei gerai pagalvoji, tai iš tikrųjų tik ledkalnio viršūnė. Jei dabar galite importuoti duomenis iš duomenų lentelių bet kuriame interneto puslapyje, tiesiog pagalvokite apie galimybes. Gaukite naujausius atsargų numerius arba 10 naujausių knygų ir autorių, esančių New York Times bestselerių sąraše, arba perkamiausių automobilių pasaulyje. Yra HTML lentelių beveik bet kokia tema, kurią galite įsivaizduoti, ir daugeliu atvejų šios lentelės dažnai atnaujinamos.

„ImportHtml“ suteikia galimybę prijungti „Google“ skaičiuoklę prie interneto ir pateikti ten esančius duomenis. Tai gali tapti jūsų asmeniniu informacijos centru, kurį galite naudoti manipuliuodami ir įmasažuodami į formatą, su kuriuo iš tikrųjų galite dirbti. „Google“ skaičiuoklėje tai tik dar vienas labai šaunus dalykas.

Ar kada nors importavote duomenis į savo skaičiuokles? Kokių įdomių dalykų atradote tuose duomenyse? Kaip naudojote duomenis? Pasidalykite savo patirtimi ir idėjomis žemiau esančiame komentarų skyriuje!

Vaizdo kreditai: Verslo grafikas