Vietinio didelės kalbos modelio naudojimas tinka ne visiems, tačiau yra keletas svarių priežasčių, kodėl galbūt norėsite pabandyti.
Key Takeaways
- Mažiau cenzūros: vietiniai LLM siūlo laisvę diskutuoti mąstyti skatinančiomis temomis be apribojimų, taikomų viešiesiems pokalbių robotams, todėl galima atviresniems pokalbiams.
- Geresnis duomenų privatumas: naudojant vietinį LLM, visi sugeneruoti duomenys lieka jūsų kompiuteryje, taip užtikrinamas privatumas ir neleidžiama prieiti įmonėms, kurios valdo viešas LLM.
- Naudojimas neprisijungus: vietiniai LLM leidžia nepertraukiamai naudotis atokiose ar izoliuotose vietovėse be patikimos interneto prieigos, o tai yra vertingas įrankis tokiais atvejais.
Nuo tada, kai 2022 m. lapkričio mėn. pasirodė „ChatGPT“, terminas „didelės kalbos modelis“ (LLM) greitai perėjo iš nišinio termino, skirto dirbtinio intelekto vėplams, į madingą žodį visų lūpose. Didžiausias vietinio LLM žavesys yra galimybė atkartoti tokio pokalbių roboto, kaip „ChatGPT“ galimybes jūsų kompiuteryje be debesyje priglobtos versijos bagažo.
Yra argumentų už ir prieš vietinio LLM nustatymą jūsų kompiuteryje. Mes nutrauksime ažiotažą ir pateiksime jums faktus. Ar turėtumėte naudoti vietinį LLM?
Vietinių LLM naudojimo privalumai
Kodėl žmonės taip jaudinasi dėl savo kūrimo didelių kalbų modeliai savo kompiuteriuose? Kokios praktinės naudos, be ažiotažas ir girtis, yra?
1. Mažiau cenzūros
Kai „ChatGPT“ ir „Bing AI“ pirmą kartą prisijungė prie interneto, tai, ką abu pokalbių robotai norėjo pasakyti ir daryti, buvo tiek žavūs, tiek nerimą keliantys. Bing AI elgėsi šiltai ir mielai, tarsi jame būtų emocijų. „ChatGPT“ buvo pasirengęs naudoti keiksmažodžius, jei gražiai paprašytumėte. Tuo metu abu pokalbių robotai netgi padėtų jums sukurti bombą, jei naudotumėte tinkamus raginimus. Tai gali atrodyti kaip visi klaidingi atspalviai, tačiau galimybė daryti bet ką simbolizavo neribotas kalbos modelių, kurie juos varo, galimybes.
Šiandien abu pokalbių robotai buvo taip griežtai cenzūruojami kad jie net nepadės parašyti išgalvoto kriminalinio romano su smurtinėmis scenomis. Kai kurie AI pokalbių robotai net nekalbės apie religiją ar politiką. Nors LLM, kurias galite įkurti vietoje, nėra visiškai be cenzūros, daugelis iš jų mielai darys tai, kas verčia susimąstyti, ko nepadarys visuomenei skirti pokalbių robotai. Taigi, jei nenorite, kad robotas dėstytų jums apie moralę, kai diskutuojate apie asmeninius interesus, galite vadovauti vietinei LLM.
2. Geresnis duomenų privatumas
Viena iš pagrindinių priežasčių, kodėl žmonės pasirenka vietinį LLM, yra užtikrinti, kad viskas, kas vyksta jų kompiuteryje, liktų jų kompiuteryje. Kai naudojatės vietiniu LLM, tai tarsi pokalbis privačiai savo svetainėje – niekas iš išorės negali klausytis. Nesvarbu, ar eksperimentuojate su savo kredito kortelės informacija, ar vyksta slapti asmeniniai pokalbiai su LLM, visi gauti duomenys saugomi tik jūsų kompiuteryje. Alternatyva yra naudoti viešai prieinamas LLM, tokias kaip GPT-4, kurios suteikia atsakingoms įmonėms prieigą prie jūsų pokalbių informacijos.
3. Naudojimas neprisijungus
Kadangi internetas yra plačiai prieinamas ir prieinamas, prieiga neprisijungus gali atrodyti nereikšminga priežastis naudoti vietinį LLM. Prieiga neprisijungus gali tapti ypač svarbi atokiose arba izoliuotose vietose, kur interneto paslauga nepatikima arba nepasiekiama. Tokiais atvejais vietinis LLM, veikiantis nepriklausomai nuo interneto ryšio, tampa gyvybiškai svarbiu įrankiu. Tai leidžia be trukdžių ir toliau daryti tai, ką norite.
4. Išlaidų taupymas
Vidutinė prieigos prie galimo LLM, pvz., GPT-4 ar Claude 2, kaina yra 20 USD per mėnesį. Nors tai gali neatrodyti kaip nerimą kelianti kaina, vis tiek gausite keletą erzinančių šios sumos apribojimų. Pavyzdžiui, naudojant GPT-4, pasiekiamą per „ChatGPT“, jums įstrigo 50 pranešimų per tris valandas. Jūs galite tik peržengti šias ribas pereiti prie „ChatGPT Enterprise“ plano, kuris gali kainuoti tūkstančius dolerių. Su vietiniu LLM, kai nustatote programinę įrangą, nereikia mokėti 20 USD mėnesinės prenumeratos ar pasikartojančių mokesčių. Tai tarsi automobilio pirkimas, o ne pasikliauti pavėžėjimo paslaugomis. Iš pradžių tai brangu, bet laikui bėgant sutaupysite pinigų.
5. Geresnis pritaikymas
Viešai prieinami AI pokalbių robotai apribojo tinkinimą dėl saugumo ir cenzūros. Naudodami vietoje priglobtą AI asistentą galite visiškai pritaikyti modelį pagal savo konkrečius poreikius. Galite išmokyti asistentą naudotis patentuotais duomenimis, pritaikytais jūsų naudojimo atvejams, pagerindami tinkamumą ir tikslumą. Pavyzdžiui, teisininkas galėtų optimizuoti savo vietinį AI, kad gautų tikslesnių teisinių įžvalgų. Pagrindinis pranašumas yra pritaikymo pagal savo unikalius reikalavimus kontrolė.
Vietinių LLM naudojimo trūkumai
Prieš perjungdami, turėtumėte apsvarstyti keletą vietinio LLM naudojimo trūkumų.
1. Daug išteklių
Norėdami paleisti našų vietinį LLM, jums reikės aukščiausios klasės aparatinės įrangos. Pagalvokite apie galingus procesorius, daug RAM ir tikriausiai specialų GPU. Nesitikėkite, kad 400 USD kainuojantis nešiojamasis kompiuteris suteiks gerą patirtį. Atsakymai bus skausmingai lėti, ypač naudojant didesnius AI modelius. Tai panašu į pažangiausius vaizdo žaidimus – norint užtikrinti optimalų veikimą, reikia didelių specifikacijų. Jums netgi gali prireikti specializuotų aušinimo sprendimų. Esmė ta, kad vietiniams LLM reikia investuoti į aukščiausios klasės aparatinę įrangą, kad būtų užtikrintas greitis ir greitas reagavimas į žiniatinklio LLM (arba net patobulintų). Jūsų skaičiavimo poreikiai bus dideli, palyginti su žiniatinklio paslaugų naudojimu.
2. Lėtesnis atsakas ir prastesnis našumas
Dažnas vietinių LLM apribojimas yra lėtesnis atsako laikas. Tikslus greitis priklauso nuo konkretaus AI modelio ir naudojamos aparatinės įrangos, tačiau dauguma sąrankų atsilieka nuo internetinių paslaugų. Patyrę momentinius ChatGPT, Bardo ir kitų atsakymus, vietiniai LLM gali jaustis siaubingai vangūs. Žodžiai pamažu sklinda, o ne greitai grįžta. Tai nėra visuotinė tiesa, nes kai kurie vietiniai diegimai užtikrina gerą našumą. Tačiau paprasti vartotojai susiduria su staigiu nuosmukiu nuo nepaprastos žiniatinklio patirties. Taigi pasiruoškite „kultūriniam šokui“ nuo greitų internetinių sistemų iki lėtesnių vietinių atitikmenų.
Trumpai tariant, nebent jūs naudojate absoliučią aukščiausios klasės sąranką (kalbame apie AMD Ryzen 5800X3D su Nvidia RTX 4090 ir pakaktų RAM nuskandinti laivą), bendras jūsų vietinio LLM našumas neprilygs jūsų internetiniams generuojamiesiems AI pokalbių robotams. įpratęs.
3. Sudėtinga sąranka
Vietos LLM diegimas yra labiau susijęs nei tik prisiregistravimas prie internetinės AI paslaugos. Turint interneto ryšį, jūsų „ChatGPT“, „Bard“ arba „Bing AI“ paskyra gali būti paruošta pradėti raginimą per kelias minutes. Norint nustatyti visą vietinį LLM paketą, reikia atsisiųsti sistemas, sukonfigūruoti infrastruktūrą ir integruoti įvairius komponentus. Didesniems modeliams šis sudėtingas procesas gali užtrukti valandas, net naudojant įrankius, kuriais siekiama supaprastinti diegimą. Kai kurioms pažangiausioms AI sistemoms vis dar reikia gilių techninių žinių, kad galėtų veikti vietoje. Taigi, skirtingai nuo „plug-and-play“ žiniatinklio AI modelių, valdyti savo dirbtinį intelektą reikia didelių techninių ir laiko investicijų.
4. Ribotos žinios
Daugelis vietinių LLM yra įstrigę praeityje. Jie turi ribotas žinias apie dabartinius įvykius. Prisimeni, kai „ChatGPT“ negalėjo prisijungti prie interneto? Kada galėjo pateikti atsakymus tik į klausimus apie įvykius, įvykusius iki 2021 m. rugsėjo mėn.? Taip? Na, panašiai kaip ankstyvieji ChatGPT modeliai, vietoje priglobtų kalbų modeliai dažnai mokomi tik remiantis duomenimis iki tam tikros datos. Dėl to jiems trūksta informacijos apie naujausius įvykius po to.
