Duomenų tyrimas debesyje naudojant „ScraperWiki“

Skelbimas

Jei turite protinių kaprizų, programavimo ir pasakojimo nuojautos bei dizaino akį, galite padaryti dar blogiau, nei įsitraukę į duomenų mokslą. Tai naujas didelis dalykas technologijoje; labai madinga ir labai apmokama, duomenų tyrinėtojų ieško kai kurios iš didžiausių kompanijų pasaulyje.

„ScraperWiki“ yra įmonė, kuri ilgą laiką buvo siejama su duomenų mokslo sritimi. Keletą pastaruosius metus šis „Liverpool“ įsikūręs startuolis pasiūlė platformą, leidžiančią programuotojams rašyti įrankius, iš kurių gaunami duomenys, juos išvalyti ir analizuoti debesyje.

Neseniai atnaujinus informaciją ir nuolat augant duomenų mokslininkų poreikiui įmonėje, verta gerai pažvelgti į „ScraperWiki“.

Visas informacijos atskleidimas: Praėjusią vasarą buvau stažuotė „ScraperWiki“.

Ką veikia „ScraperWiki“?

„ScraperWiki“ prekiauja kaip vieta, kur galima gauti, valyti ir analizuoti duomenis, ir ji pateikiama pagal kiekvieną iš tų skaičių. Paprasčiausia forma tai suteikia jums - vartotojui - vietą, kur galite rašyti kodą, kuris nuskaito duomenis iš šaltinio, įrankius konvertuoti. jį į formatą, kurį lengva analizuoti, ir saugyklą, kad galėtumėte vėliau vizualizuoti - kurį taip pat galite tvarkyti naudodami „ScraperWiki“.

Kartu pateikiami keli iš anksto sukurti įrankiai, automatizuojantys pasikartojančias užduotis, įskaitant gauti duomenis iš PDF rinkmenų, kuriuos labai sunku iššifruoti. Tai yra papildomai „Twitter“ paieška 5 puikūs „Twitter“ paieškos triukai, skirti stebėti, ką žmonės sako apie jusJei turite svetainę arba tiesiog bandote užsidirbti pinigų internete kaip laisvai samdomas vertėjas, visada verta žinoti, ką žmonės apie jus sako internete. Galbūt žmonės cituoja ... Skaityti daugiau ir komunalinių paslaugų grandymas. Norint jomis naudotis, jums nereikia jokios programinės įrangos kūrimo patirties.

Kaina

Kaip jau buvo minėta anksčiau, „ScraperWiki“ apima laisvojo kainų nustatymo modelį ir siūlo kelių pakopų paslaugą. Tie, kurie tik pradeda naudotis duomenų mokslu arba turi ribotus poreikius, gali naudotis nemokama paslauga. Tai suteikia jums tris duomenų rinkinius - kur saugote savo duomenis ir kodą.

Tie, kurie planuoja rašyti kelis grandiklius ar nori atlikti daugybę duomenų analizės, gali išsimokėti pinigų už papildomą sąskaitą. Jie prasideda nuo 9 USD per mėnesį ir siūlo 10 duomenų rinkinių. Jei to vis dar nepakanka, visada galite atnaujinti aukščiausią pakopą, kurią sudaro 100 duomenų rinkinių ir kuri kainuoja 29 USD per mėnesį.

Kodavimas

Programuotojai dažnai yra gana ypatingi, kai reikia sužinoti, kaip jie koduoja. Kai kurie renkasi scenarijaus kalbas, o ne sudarytas kalbas. Kai kurie teikia pirmenybę teksto rengyklės, palyginti su integruota kūrimo aplinka (IDE), patirtimi. „ScraperWiki“ tai supranta ir suteikia vartotojui didžiulį pasirinkimą, kaip rašyti savo kodą.

Jei esate toks linkęs, galite įrašyti savo kodą naršyklėje. Kaip ir tikėjotės iš bet kurio profesionalo lygio, internetinis 3 populiariausi naršyklėmis pagrįsti IDE, kurie koduojami debesyje Skaityti daugiau kūrimo įrankį, tai yra funkcijos, kurias bet kuris programuotojas laikytų esminėmis, pavyzdžiui, sintaksės paryškinimas.

Siūloma daugybė kalbų. Jie apima Python 5 geriausios svetainės, skirtos mokytis „Python“ programavimoNorite išmokti Python programavimo? Čia yra geriausi būdai išmokti Python internete, daugelis iš jų yra visiškai nemokami. Skaityti daugiau , populiari scenarijų kalba, kurią mėgsta „Google“ ir NASA; Rubinas 3 interaktyvūs, linksmi, nemokami būdai pradėti mokytis „Ruby“ programavimo kalbos„Ruby“ yra išraiškinga, labai aukšto lygio scenarijų kalba. Jis dažniausiai naudojamas žiniatinklyje kaip „Ruby on Rails“ žiniatinklio kūrimo sistemos dalis, tačiau taip pat yra ir autonominis. Jei jums įdomu, kas yra „Ruby“ (ne ... Skaityti daugiau , valdančią daugybę populiarių svetainių, tokių kaip „Living Social“; ir populiarią statistinės analizės kalbą, R.

Be to, naudodami SSH, Git ir bet kurį teksto rengyklę, kurią naudojate, taip pat galite rašyti kodą iš komandinės eilutės. Taip, jūs teisingai perskaitėte. SSH Kuo SSH skiriasi ir kuo jis skiriasi nuo FTP [Technology Explained] Skaityti daugiau . Kiekviena jūsų naudojama dėžutė yra jos „Linux“ abonementas, ir jūs galite prie jos prisijungti, lyg būtumėte naudodami VPS ar bet kurią kitą apvalkalo sąskaitą. Yra keletas teksto redaktorių, įskaitant Vim 7 pagrindinės priežastys, leidžiančios suteikti „Vim“ teksto redaktoriui galimybęMetų metus bandžiau vieną teksto rengyklę po kitos. Tu pavadink tai, aš išbandžiau. Kiekvieną iš šių redaktorių naudojau daugiau nei du mėnesius kaip savo pagrindinį kasdienį redaktorių. Kažkaip aš ... Skaityti daugiau kurį galima pratęsti naudojant papildinius ir redaguojant konfigūraciją. Įbauginti Vimo gali naudoti „Nano“, kuris yra lengvas komandų eilutės teksto redaktorius.

Įdiegtų bibliotekų turėtų pakakti rašymo priemonėms duomenims gauti ir tvarkyti. Jei jums reikia kažko šiek tiek neaiškaus, visada galite sukurti virtualenvą iš komandinės eilutės. Kaip matote, kūrėjams suteikiamas didžiulis lankstumas.

Duomenų vizualizacija

Taigi, jūs turite savo duomenis. Normalizavote. Jūs jį išvalėte. Jūs išanalizavote tai. Laikas pasidaryti vizualizaciją ir parodyti pasauliui, ko išmokai.

„ScraperWiki“ leidžia kūrėjams parodyti savo duomenis naudojant tinklalapius, sudarytus iš visiems žinomų HTML, CSS ir „JavaScript“. Be to, „Bootstrap“ komponentai palaikomi lauke.

Yra keletas iš anksto parengtų vizualizacijų, įskaitant tas, kurios nubraižo jūsų duomenis žemėlapyje ir nustato tendencijas jūsų išvadose. Norėdami juos naudoti, turite įsitikinti, kad jūsų duomenys yra saugomi kaip „SQLite“ failas, kurio vardas yra „scraperwiki.sqlite“. Tada tiesiog pridėkite jus dominančią vizualizaciją. Paprasta, tiesa?

Išvada

„ScraperWiki“ siūlo daug kūrėjams, norintiems atlikti duomenų analizę, nesukuriant kliūčių jų kūrimo aplinkai, kartu suteikiant galimybę įtikti net išrankiausiems vartotojams. Bet ką tu galvoji? Praneškite man toliau pateiktuose komentaruose.
Nuotraukų kreditas: Raketų mokslas (Dan Brown)