ChatGPT yra žaidimą keičiantis OpenAI AI pokalbių robotas, kuris stebina internetą. Nepaisant visų nusistovėjusių technologijų tendencijų, neilgai trukus „ChatGPT“ pateko į beveik visas mūsų skaitmeninio gyvenimo sritis.
Labai nedaug technologijų naujovių sulaukė tiek susidomėjimo, kiek ChatGPT pasiekė per tokį trumpą laiką. Atrodo, kad niekada nepritrūksta šaunių gudrybių – kiekvieną dieną sužinome apie įdomius naujus dalykus, apie kuriuos nežinojome.
Bet kaip „ChatGPT“ gali padaryti tai, ką gali? Kaip veikia ChatGPT?
Kaip buvo sukurtas „ChatGPT“?
Norint suprasti, kaip veikia ChatGPT, verta pažvelgti į jo kilmę ir pažangiausio AI pokalbių roboto smegenis.
Pirma, kad ir kaip stebuklingai atrodytų „ChatGPT“, jį sukūrė genialūs žmonės, kaip ir kiekvieną vertingą programinės įrangos technologiją. „OpenAI“ sukūrė „ChatGPT“ – revoliucinę AI tyrimų ir plėtros įmonę, kuri remiasi kitais galingais AI įrankiais, tokiais kaip DALL-E, InstructGPT ir Codex. Mes anksčiau atsakėme
kai kurių klausimų apie ChatGPT, tad pažiūrėk.Nors „ChatGPT“ išplito 2022 m. pabaigoje, dauguma pagrindinių „ChatGPT“ naudojančių technologijų buvo naudojamos daug ilgiau, nors ir sulaukta daug mažiau viešumo. ChatGPT modelis sukurtas ant GPT-3 (arba, tiksliau, GPT-3.5). GPT reiškia „Generative Pre- Train Transformer 3“.
GPT-3 yra trečioji GPT AI modelių linijos iteracija, prieš kurią buvo GPT-2 ir GPT. Ankstesnės GPT modelių iteracijos yra vienodai naudingos, tačiau GPT-3 ir tiksliai sureguliuota GPT-3.5 iteracija yra daug galingesni. Dauguma to, ką gali padaryti „ChatGPT“. yra dėl pagrindinės GPT-3 technologijos.
Kas yra GPT?
Taigi nustatėme, kad „ChatGPT“ sukurtas remiantis trečiosios kartos GPT modeliu. Bet kas vis dėlto yra GPT?
Pradėkime nuo akronimų išpakavimo taip, kad jie būtų lengvai įsisavinami ir netechniškai.
- „Generatyvas“ GPT reiškia jo gebėjimą generuoti tekstą natūralia žmogaus kalba.
- „Iš anksto parengtas“ reiškia faktą, kad modelis jau buvo apmokytas tam tikru baigtiniu duomenų rinkiniu. Panašiai, kaip perskaitėte knygą ar galbūt kelias knygas, kol jūsų paprašys atsakyti į klausimus.
- „Transformatorius“ reiškia pagrindinę mašininio mokymosi architektūrą, kuri veikia GPT.
Dabar, viską sudėjus, generatyvus iš anksto apmokytas transformatorius (GPT) yra kalbos modelis, kuris buvo mokomi naudojant duomenis iš interneto, siekiant sukurti tekstą žmonių kalba, kai pateikiamas a paraginti. Taigi, mes ne kartą sakėme, kad GPT buvo apmokytas, bet kaip jis buvo mokomas?
Kaip buvo apmokytas ChatGPT?
Pats „ChatGPT“ nebuvo apmokytas nuo pat pradžių. Vietoj to, tai yra tiksliai sureguliuota GPT-3.5 versija, kuri pati yra tiksliai suderinta GPT-3 versija. GPT-3 modelis buvo apmokytas naudojant daugybę duomenų, surinktų iš interneto. Pagalvokite apie „Wikipedia“, „Twitter“ ir „Reddit“ – tai buvo tiekiami duomenys ir žmogaus tekstas, iškraipytas iš visų interneto kampelių.
Jei jums įdomu, kaip veikia GPT mokymas, GPT-3 buvo apmokytas naudojant prižiūrimo mokymosi ir mokymosi per žmogaus grįžtamąjį ryšį (RLHF) derinį. Prižiūrimas mokymasis yra etapas, kai modelis mokomas naudojant didelį teksto duomenų rinkinį, išgautą iš interneto. Sustiprinimo mokymosi stadija yra ta, kurioje jis mokomas pateikti geresnius atsakymus, atitinkančius tai, ką žmonės priimtų kaip žmogišką ir teisingą.
Mokymas su prižiūrimu mokymusi
Norėdami geriau suprasti, kaip prižiūrimas ir sustiprintas mokymasis taikomas ChatGPT, įsivaizduokite scenarijų, kai mokytojas mokinį moko rašyti esė. Prižiūrimas mokymasis prilygtų mokytojui perskaityti šimtus esė. Tikslas yra, kad mokinys išmoktų rašyti esė, priprasti prie šimtų esė tono, žodyno ir struktūros.
Tačiau tarp tų šimtų rašinių bus ir gero, ir blogo. Kadangi mokinys buvo apmokytas ir gerų, ir blogų egzempliorių, kartais studentas gali parašyti blogą esė, nes mokinys tam tikru momentu buvo maitinamas ir blogais rašiniais. Tai reiškia, kad paprašytas parašyti esė, mokinys gali parašyti kopiją, kuri nėra priimtina arba pakankamai gera mokytojui. Čia atsiranda sustiprinimo mokymasis.
Mokymas su stiprinimo mokymusi
Kai mokytojas nustato, kad mokinys supranta bendrąsias esė rašymo taisykles, perskaitęs šimtus esė, mokytojas dažnai duos mokiniui esė rašymo namų darbus. Vėliau mokytojas pateikdavo grįžtamąjį ryšį apie esė rašydamas namų darbus, papasakodamas mokiniams, ką jie padarė gerai ir ką galėtų patobulinti. Mokinys naudoja grįžtamąjį ryšį, kad vadovautų tolesniems esė rašymo namų darbams, padėdamas mokiniui laikui bėgant tobulėti.
Tai panašu į GPT modelio mokymo sustiprinimo etapą. Gavęs didžiulį teksto kiekį iš interneto, modelis gali atsakyti į klausimus. Tačiau jo tikslumas nebus pakankamai geras. Žmonių treneriai užduoda modeliui klausimą ir pateikia grįžtamąjį ryšį, kuris atsakymas yra tinkamesnis kiekvienam klausimui.
Modelis naudoja grįžtamąjį ryšį, kad pagerintų savo gebėjimą atsakyti į klausimus tiksliau ir panašiau į tai, kaip reaguotų žmogus. Taip „ChatGPT“ gali generuoti žmonėms skambančius atsakymus, kurie yra nuoseklūs, patrauklūs ir apskritai tikslūs.
Kaip „ChatGPT“ gali atsakyti į klausimus?
Taigi, apsilankykite „ChatGPT“ svetainėje ir prisijunkite. Raginate ChatGPT: „parašykite repo dainą Snoop Dogg stiliumi“. Ji atsako žodžiais į repo dainą, kuri atrodo nepaprastai panaši į tai, ką parašytų Snoop Dogg. Kaip tai įmanoma?
Na, o „ChatGPT“ „stebuklingumas“ puikiai susieja su jo mokymu.
Aprėpę kiekvieną savo „Physics 101“ vadovėlio colį, yra didelė tikimybė, kad galėsite atsakyti į visus jums užduotus klausimus. Kodėl? Nes tu tai skaitėte ir išmokote. Tas pats yra su ChatGPT – jis mokosi. Ir, kaip parodė žmonių civilizacija, pakankamai pasimokius, įmanoma išspręsti beveik bet kokią problemą.
Nors tikriausiai per savo gyvenimą galite valdyti šimtus knygų, „ChatGPT“ arba GPT jau sunaudojo didžiulę interneto dalį. Tai didžiulis informacijos kiekis. Ten, kažkur, tikriausiai yra daugybės Snoop Dogg dainų tekstai. Taigi, žinoma, „ChatGPT“ turėjo jį vartoti (atminkite, kad tai iš anksto apmokyta) ir atpažino „Snoop Dogg“ dainų tekstų modelius. Tada jis naudotų šio modelio „žinias“, kad „numatytų“ dainos žodžius, panašius į tai, ką parašys Snoop Dogg.
Čia akcentuojamas „numatymas“. „ChatGPT“ neatsako į klausimus taip pat, kaip į žmones. Pavyzdžiui, kai susiduriate su tokiu klausimu kaip „Kas yra Portugalijos sostinė? galite pasakyti Lisabona ir pasakyti tai dėl „fakto“. Tačiau „ChatGPT“ neatsako į klausimus 100% tikrumu. Vietoj to, jis bando numatyti teisingą atsakymą, atsižvelgdamas į duomenis, kuriuos sunaudojo mokymo duomenų rinkinyje.
„ChatGPT“ požiūris į atsakymus į klausimus
Norėdami geriau suprasti atsakymų numatymo sąvoką, įsivaizduokite, kad „ChatGPT“ yra detektyvas, kuriam pavesta išspręsti žmogžudystę. Detektyvui pateikiami įkalčiai, tačiau jie nežino, kas įvykdė žmogžudystę ir kaip tai įvyko. Tačiau turėdamas pakankamai įrodymų, detektyvas gali itin tiksliai „nuspėti“, kas atsakingas už žmogžudystę ir kaip buvo įvykdytas nusikaltimas.
Sunaudojęs duomenis iš interneto, „ChatGPT“ atmeta pradinius duomenis ir išsaugo neuroninius ryšius arba šablonus, kuriuos išmoko iš duomenų. Šie ryšiai ar modeliai yra tarsi įrodymai, kuriuos „ChatGPT“ analizuoja, kai bando reaguoti į bet kokį raginimą.
Taigi teoriškai ChatGPT yra kaip labai geras detektyvas. Ji tiksliai nežino, kokie turėtų būti atsakymo faktai, bet bando įspūdingai tikslumas, numatyti loginę žmonių kalbos teksto seką, kuri tinkamiausiai atsakytų į klausimas. Taip gausite atsakymus į savo klausimus.
Ir todėl kai kurie iš tų atsakymų atrodo labai įtikinami, bet yra labai klaidingi.
ChatGPT: atsako kaip žmogus, mąsto kaip mašina
Pagrindinės techninės ChatGPT detalės yra sudėtingos. Tačiau elementariai jis veikia mokydamasis ir paragintas atkurdamas tai, ko išmoko, kaip ir mes, kaip žmonės.
Kadangi ChatGPT vystosi atliekant tyrimus, jo veikimo būdas gali pasikeisti. Tačiau jo pagrindiniai darbo principai kurį laiką išliks tokie patys, bent jau tol, kol pasirodys trikdanti nauja technologija.
