Nors „OpenAI“ pirmauja kuriant dirbtinį intelektą, daugelis apkaltino „Google“ atsilikimu. Tačiau, kad nebūtų pralenktas, „Google“ savo 2023 m. „Google I/O“ konferencijoje pristatė naują didelį kalbos modelį PaLM 2.
Keturių skirtingų dydžių, skirtų įvairioms programoms, „Google“ naujasis LLM, matyt, jau veikia kelioms „Google“ paslaugoms, kurių laukia daug daugiau.
Kas yra PaLM 2?
Gegužės 10 d. vykusioje „Google I/O 2023“ parodoje „Google“ generalinė direktorė Sunda Pichai atskleidė naujausią „Google“ žaidimą: PaLM 2.
Pathways Language Model 2 trumpinys, „Google“ atnaujintas LLM yra antroji PaLM iteracija, o pirmoji versija bus paleista 2022 m. balandžio mėn. Nepameni PaLM? Na, tuo metu tai buvo didelė naujiena ir sulaukė didžiulio susidomėjimo dėl gebėjimo šiek tiek pabendrauti, pasakoti pagrindinius anekdotus ir pan. Greitai į priekį šešis mėnesius ir OpenAI GPT-3.5 išpūtė viską iš vandens, įskaitant PaLM.
Nuo tada, OpenAI paleido GPT-4, didžiulis GPT-3.5 atnaujinimas. Tačiau nors naujesnis modelis integruojamas į daugybę įrankių, ypač „Microsoft Bing AI Chat“, „Google“ siekia „OpenAI“ ir „GPT-4“ su „PaLM 2“ ir tikisi, kad jos atnaujintas LLM padės užpildyti reikšmingą spragą – „Google Bard“ paleidimas vargu ar buvo triukšmingas. sėkmė.
Pichai paskelbė, kad PaLM 2 bus keturių skirtingų modelių dydžių: Gecko, Otter, Bison ir Unicorn.
Gecko yra toks lengvas, kad gali veikti mobiliuosiuose įrenginiuose ir yra pakankamai greitas puikioms interaktyvioms programoms įrenginyje, net ir neprisijungęs. Šis universalumas reiškia, kad „PaLM 2“ gali būti tiksliai suderintas, kad būtų galima paremti visas produktų klases daugiau būdų ir padėti daugiau žmonių.
Kadangi „Gecko“ gali apdoroti maždaug 20 žetonų per sekundę – žetonai yra tikriems žodžiams priskirtos vertės, skirtos naudoti generatyviniuose AI modeliuose – tikėtina, kad tai pakeis mobiliesiems diegiamų AI įrankių žaidimą.
PaLM 2 mokymo duomenys
„Google“ tiksliai nepateikė „PaLM 2“ mokymo duomenų, suprantama, nes jie buvo ką tik išleisti. Bet Google PaLM 2 ataskaita [PDF] pasakė, kad nori, kad „PaLM 2“ turėtų gilesnį matematikos, logikos ir gamtos mokslų supratimą ir kad didžioji jo mokymo korpuso dalis buvo skirta šioms temoms.
Vis dėlto verta paminėti, kad PaLM nebuvo lėkštas. Kada Google Atskleidė PaLM, ji patvirtino, kad ji buvo išmokyta pagal 540 milijardų parametrų, o tai tuo metu buvo milžiniškas skaičius.
Teigiama, kad OpenAI GPT-4 naudoja daugiau nei vieną trilijoną parametrų, o kai kurios spėlionės, kad šis skaičius siekia 1,7 trilijono. Saugus statymas, kadangi „Google“ nori, kad „PaLM 2“ tiesiogiai konkuruotų su „OpenAI“ LLM, jame bus bent jau panašus skaičius, jei ne daugiau.
Kitas svarbus „PaLM 2“ patobulinimas yra kalbos mokymo duomenys. „Google“ apmokė „PaLM 2“ daugiau nei 100 kalbų, kad suteiktų jai gilesnį ir kontekstinį supratimą bei padidintų vertimo galimybes.
Bet tai ne tik šnekamosios kalbos. Atsižvelgdama į Google reikalavimą, kad PaLM 2 pateiktų geresnius mokslinius ir matematinius argumentus, LLM taip pat buvo apmokytas daugiau nei 20 programavimo kalbų, todėl tai yra fenomenalus programuotojų turtas.
„PaLM 2“ jau teikia „Google“ paslaugas, bet vis tiek reikalauja tikslaus derinimo
Neilgai trukus galėsime paimti į rankas PaLM 2 ir pamatyti, ką jis gali. Jei pasiseks, bet kurios PaLM 2 programos ir paslaugos bus geriau nei Bard.
Bet galbūt (techniškai!) jau naudojote PaLM 2. „Google“ patvirtino, kad „PaLM 2“ jau yra įdiegta ir naudojama 25 jos produktuose, įskaitant „Android“, „YouTube“, „Gmail“, „Google“ dokumentus, „Google“ skaidres, „Google“ skaičiuokles ir kt.
Tačiau PaLM 2 ataskaita taip pat atskleidžia, kad dar reikia nuveikti, ypač siekiant toksiškų reakcijų įvairiomis kalbomis.
Pavyzdžiui, kai konkrečiai pateikiami toksiški raginimai, PaLM 2 sukelia toksines reakcijas daugiau nei 30 procentų laiko. Be to, tam tikromis kalbomis – anglų, vokiečių ir portugalų – PaLM 2 davė daugiau toksiškų atsakymų. daugiau nei 17 procentų laiko, o raginimai, įskaitant rasinę tapatybę ir religijas, skatina šį skaičių aukštesnė.
Kad ir kiek tyrėjai bandytų išvalyti LLM mokymo duomenis, neišvengiamai kai kurie iš jų praslys. Kitas etapas yra tęsti PaLM 2 mokymą, kad būtų sumažintas toksinis atsakas.
Tai didelio kalbų modelių pakilimo laikotarpis
„OpenAI“ nebuvo pirmasis, paleidęs didelį kalbos modelį, tačiau jo GPT-3, GPT-3.5 ir GPT-4 modeliai neabejotinai apšvietė mėlyną generatyvaus AI jutiklinį popierių.
„Google PaLM 2“ turi tam tikrų problemų, kurias reikia išspręsti, tačiau tai, kad jis jau naudojamas keliose „Google“ paslaugose, rodo įmonės pasitikėjimą savo naujausia LLM.
