Google PaLM 2 vs. OpenAI GPT-4: koks skirtumas?

2023 m. gegužės 10 d. „Google I/O 2023“ parodoje „Google“ pristatė naujos kartos kalbos modelį „Pathways Language Model“ (PaLM 2). Jo naujasis didelės kalbos modelis (LLM) gali pasigirti daug patobulinimų, palyginti su jo pirmtaku (PaLM), ir pagaliau gali būti pasirengęs priimti savo didžiausią varžovą OpenAI GPT-4.

Tačiau kiek patobulino „Google“? Ar „Google“ tikisi, kad „PaLM 2“ bus skirtumas, ir, dar svarbiau, kuo „PaLM 2“ skiriasi nuo „OpenAI GPT-4“ su tiek daug panašių galimybių?

PaLM 2 vs. GPT-4: našumo apžvalga

„PaLM 2“ yra pilnas naujų ir patobulintų galimybių prieš savo pirmtaką. Vienas iš unikalių PaLM 2 pranašumų, palyginti su GPT-4, yra tai, kad jį galima įsigyti mažesnių dydžių, būdingų tam tikroms programoms, kurios neturi tiek daug integruotos apdorojimo galios.

Visi šie skirtingi dydžiai turi savo mažesnius modelius, vadinamus Gecko, Otter, Bison ir Unicorn. Gecko yra mažiausias, po jo seka Otter, Bison ir galiausiai Unicorn, didžiausias modelis.

„Google“ taip pat teigia, kad pagerėjo GPT-4 „WinoGrande“ ir „DROP“ samprotavimo galimybės, o pirmasis sumažina ARC-C skirtumą. Tačiau, kalbant apie PaLM ir SOTA, pastebimas didelis patobulinimas.

Remiantis „Google“ 91 puslapio duomenimis, „PaLM 2“ taip pat yra geresnis matematikos srityje PaLM 2 mokslinis darbas [PDF]. Tačiau dėl to, kaip „Google“ ir „OpenAI“ susistemino savo bandymų rezultatus, sunku tiesiogiai palyginti du modelius. „Google“ taip pat praleido kai kuriuos palyginimus, tikriausiai todėl, kad „PaLM 2“ veikė ne taip gerai, kaip GPT-4.

MMLU sistemoje GPT-4 surinko 86,4 balo, o PaLM 2 – 81,2. Tas pats pasakytina ir apie HellaSwag, kur GPT-4 pelnė įvartį 95,3, bet PaLM 2 galėjo surinkti tik 86,8, o ARC-E, kur GPT-4 ir PaLM 2 gavo 96,3 ir 89,7, atitinkamai.

Didžiausias PaLM 2 šeimos modelis yra PaLM 2-L. Nors nežinome tikslaus jo dydžio, žinome, kad jis yra žymiai mažesnis nei didžiausias PaLM modelis, bet naudoja daugiau treniruočių skaičiavimo. Pagal Google, PaLM turi 540 milijardų parametrų, todėl „žymiai mažesnis“ turėtų sudaryti PaLM 2 nuo 10 iki 300 milijardų parametrų. Nepamirškite, kad šie skaičiai yra tik prielaidos, pagrįstos tuo, ką Google pasakė PaLM 2 dokumente.

Jei šis skaičius yra beveik 100 milijardų ar mažiau, PaLM 2 greičiausiai yra mažesnis pagal parametrus nei GPT-3.5. Atsižvelgiant į tai, kad modelis, kurio vertė gali siekti mažiau nei 100 mlrd., su GPT-4 gali pasiekti pirštus ir netgi įveikti kai kurias užduotis. įspūdingas. GPT-3.5 iš pradžių viską išpūtė iš vandens, įskaitant PaLM, tačiau PaLM 2 gerokai atsigavo.

GPT-4 ir PaLM 2 mokymo duomenų skirtumai

Nors „Google“ neatskleidė PaLM 2 mokymo duomenų rinkinio dydžio, bendrovė savo tyrimo dokumente praneša, kad naujojo LLM mokymo duomenų rinkinys yra žymiai didesnis. OpenAI taip pat laikėsi to paties požiūrio pristatydama GPT-4, nepateikdama pretenzijų dėl mokymo duomenų rinkinio dydžio.

Tačiau „Google“ norėjo sutelkti dėmesį į gilesnį matematikos, logikos, samprotavimo ir mokslo supratimą, o tai reiškia, kad didelė dalis „PaLM 2“ mokymo duomenų yra sutelkta į anksčiau minėtas temas. „Google“ savo dokumente teigia, kad „PaLM 2“ išankstinio mokymo korpusas sudarytas iš kelių šaltinių, įskaitant žiniatinklio dokumentus, knygų, kodų, matematikos ir pokalbių duomenų, suteikdami jiems patobulinimų, bent jau lyginant su PaLM.

PaLM 2 pokalbio įgūdžiai taip pat turėtų būti kito lygio, atsižvelgiant į tai, kad modelis buvo apmokytas daugiau nei 100 kalbų, kad būtų galima geriau suprasti kontekstą ir geriau išversti pajėgumus.

Tiek, kiek patvirtinami GPT-4 mokymo duomenys, OpenAI mums pasakė, kad apmokė modelį naudodama viešai prieinamus duomenis ir licencijuotus duomenis. GPT-4 tyrimo puslapis teigia: „Duomenys yra žiniatinklio masto duomenų rinkinys, įskaitant teisingus ir neteisingus matematikos problemų sprendimus, silpnus ir stiprūs samprotavimai, sau prieštaraujantys ir nuoseklūs teiginiai bei atstovaujantys labai įvairioms ideologijomis ir idėjos."

Kai GPT-4 užduodamas klausimas, jis gali pateikti daug įvairių atsakymų, iš kurių ne visi gali būti susiję su jūsų užklausa. Siekdama suderinti jį su vartotojo ketinimais, „OpenAI“ tiksliai sureguliavo modelio elgesį, naudodama mokymąsi su žmogaus atsiliepimais.

Nors galbūt nežinome tikslių treniruočių duomenų, pagal kuriuos buvo mokomasi pagal bet kurį iš šių modelių, žinome, kad mokymo tikslas buvo labai skirtingas. Turėsime palaukti ir pamatyti, kaip šis mokymo ketinimų skirtumas išskiria du modelius, kai jie naudojami realiame pasaulyje.

PaLM 2 ir GPT-4 pokalbių robotai ir paslaugos

Pirmasis portalas, skirtas pasiekti abu LLM, naudoja atitinkamus pokalbių robotus, PaLM 2 Bard ir GPT-4 ChatGPT. Beje, GPT-4 yra už mokamos sienos su „ChatGPT Plus“, o nemokami vartotojai gali pasiekti tik GPT-3.5. Kita vertus, „Bard“ yra nemokama visiems ir prieinama 180 šalių.

Tai nereiškia, kad jūs taip pat negalite pasiekti GPT-4 nemokamai. „Microsoft“ „Bing AI Chat“ naudoja GPT-4 ir yra visiškai nemokama, atvira visiems ir pasiekiama šalia „Bing Search“, didžiausio „Google“ konkurento šioje erdvėje.

„Google I/O 2023“ buvo užpildyta pranešimais apie tai, kaip „PaLM 2“ ir generatyvus AI integravimas pagerins „Google Workspace“ patirtį su AI funkcijomis, pasiekiamomis „Google“ dokumentuose, Skaičiuoklėse, Skaidrėse, „Gmail“ ir beveik visomis paieškos milžino siūlomomis paslaugomis. Be to, „Google“ patvirtino, kad „PaLM 2“ jau buvo integruota į daugiau nei 25 „Google“ produktus, įskaitant „Android“ ir „YouTube“.

Palyginimui, „Microsoft“ jau įdiegė dirbtinio intelekto funkcijas į „Microsoft Office“ programų rinkinį ir daugelį savo paslaugų. Šiuo metu jūs galite patirti abu LLM savo panašių pasiūlymų versijomis iš dviejų konkuruojančių kompanijų, kurios eina viena į kitą AI mūšyje.

Tačiau kadangi GPT-4 pasirodė anksti ir stengėsi išvengti daugelio klaidų, kurias „Google“ padarė su originaliu „Bard“, tai buvo de facto LLM, skirta trečiųjų šalių kūrėjams, pradedantiesiems ir beveik visiems kitiems, norintiems į savo paslaugą įtraukti tinkamą AI modelį. toli. Mes turime GPT-4 programų sąrašas, jei norite jas patikrinti.

Tai nereiškia, kad kūrėjai nepersijungs prie „PaLM 2“ arba bent jau neišbandys „PaLM 2“, tačiau „Google“ vis tiek turi pasivyti „OpenAI“ šioje srityje. Ir tai, kad PaLM 2 yra atvirojo kodo, o ne užrakinta už mokamos API, reiškia, kad jis gali būti naudojamas plačiau nei GPT-4.

Ar PaLM 2 gali naudoti GPT-4?

„PaLM 2“ vis dar yra labai naujas, todėl dar reikia atsakyti į klausimą, ar jis gali priimti GPT-4, ar ne. Tačiau, atsižvelgiant į viską, ką žada „Google“, ir agresyvų būdą, kuriuo ji nusprendė tai propaguoti, atrodo, kad „PaLM 2“ gali paleisti GPT-4 už savo pinigus.

Tačiau GPT-4 vis dar yra gana galingas modelis ir, kaip minėta anksčiau, daugelyje palyginimų lenkia PaLM 2. Be to, keli mažesni PaLM 2 modeliai suteikia jam nepaneigiamą pranašumą. Pats Gecko yra toks lengvas, kad gali veikti mobiliuosiuose įrenginiuose net neprisijungęs. Tai reiškia, kad PaLM 2 gali palaikyti visiškai kitokią produktų ir įrenginių klasę, kurioms gali būti sunku naudoti GPT-4.

AI lenktynės įkaista

Pradėjus naudoti PaLM2, lenktynės dėl AI dominavimo įkaista, nes tai gali būti pirmasis vertas priešininkas, kovosiantis su GPT-4. Taip pat treniruojantis naujesnis multimodalinis AI modelis „Gemini“, todėl „Google“ nerodo jokių lėtėjimo ženklų.