Kaip paleisti didelės kalbos modelį „Linux“ (ir kodėl turėtumėte)

Dideli kalbų modeliai gali pakeisti jūsų gyvenimo ir darbo būdą ir gali palaikyti pokalbius bei atsakyti į klausimus skirtingu tikslumu.

Norint jį naudoti, paprastai reikia LLM teikėjo paskyros ir prisijungti per svetainę arba tam skirtą programą. Bet ar žinojote, kad Linux sistemoje galite paleisti savo didelį kalbos modelį visiškai neprisijungę?

Kodėl Linux sistemoje paleisti didelės kalbos modelį?

Dideli kalbos modeliai (LLM) yra visur ir gali apdoroti natūralią kalbą ir pateikti atitinkamus atsakymus, kurie gali suklaidinti jus manydami, kad žmogus atsakė. „Microsoft“ pristato naują „Bing“ versiją, pagrįstą dirbtiniu intelektu, o abėcėlė Dabar „Bard“ yra neatsiejama „Google“ paieškų dalis.

Toli nuo paieškos sistemų galite naudoti vadinamuosius „AI pokalbių robotus“, kad atsakytumėte į klausimus, kurtumėte eilėraščius ar net atliktumėte namų darbus už jus.

Tačiau prisijungę prie LLM internetu, jūs priklausote nuo trečiosios šalies teikėjo geros valios, kurią galima bet kada atšaukti.

Jums taip pat taikomi naudojimo apribojimai. Paprašykite OpenAI parašyti 6000 žodžių erotinę novelę, kurios veiksmas vyksta, pavyzdžiui, nacistinėje Vokietijoje, ir gausite atsakymą „atsiprašau, bet aš negalėsiu jums sukurti tos istorijos“.

Viskas, ką įvedėte internetiniams LLM, bus naudojama jiems toliau mokyti, o duomenys, kuriuos galbūt norėsite išlikti konfidencialūs, ateityje gali būti išspjauti kaip atsakymo į kažkieno klausimą dalis.

Jums taip pat trūksta paslaugų, nes sistema yra užtvindyta vartotojų ir raginama užsiprenumeruoti, todėl galite pasiekti platformą, kai paklausa yra didelė.

Dalai yra nemokamas atvirojo kodo „Meta's LLaMa LLM“ ir „Stanford's Alpaca“ diegimas. Jis patogiai veiks naudojant kuklią aparatinę įrangą ir suteikia patogią žiniatinklio sąsają bei daugybę raginimų šablonų, todėl galite klausti bet ko. norite, nebijodami, kad administratorius uždarys jūsų paskyrą, LLM atsisakys atsakyti arba jūsų ryšys bus lašas.

Kai įdiegiate LLM vietoje „Linux“, jis priklauso jums ir galite jį naudoti kaip norite.

Kaip įdiegti Dalai „Linux“.

Lengviausias būdas įdiegti Dalai sistemoje Linux yra naudoti Docker ir Docker Compose. Jei jų dar neturite, skaitykite mūsų vadovą, kaip tai padaryti įdiegti „Docker“ ir „Docker Compose“..

Jei to nepadarėte, esate pasirengę pradėti diegti Dalai. Klonuokite Dalai GitHub saugyklą ir naudokite komandą cd, kad pereitumėte į ją:

git klonas https://github.com/cocktailpeanut/dalai.git && cd dalai

Jei norite, kad Dalai būtų sukurtas ir paleistas naudojant žiniatinklio sąsają, pirmiausia sukurkite „Docker Compose“ failą:

dokerio komponavimo konstrukcija

„Docker Compose“ atsisiųs ir įdiegs „Python 3.11“, „Node Version Manager“ (NVM) ir „Node.js“.

Septintoje iš devintų stadijų versija sustings, kai „Docker Compose“ atsisiunčia Dalai. Nesijaudinkite: patikrinkite, ar naudojate pralaidumą, kad įsitikintumėte, jog kažkas vyksta, ir imituoti virtualių organizmų evoliuciją savo terminale kol lauki.

Galiausiai grįšite į komandų eilutę.

Dalai ir LLaMa/Alpaca modeliams paleisti reikia daug atminties. Nors oficialių specifikacijų nėra, geras apytikslis vadovas yra 4 GB 7B modeliui, 8 GB 13B modeliui, 16 GB 30B modeliui ir 32 GB 65B modeliui.

„Alpaca“ modeliai yra palyginti maži, o 13B modelis pasiekia kuklų 7,6 GB, tačiau LLaMA svoris gali būti didžiulis: lygiavertis 13B atsisiunčiamas 60,21 GB, o 65B modelis užims puikų pusę terabaito jūsų kietajame kompiuteryje diskas.

Nuspręskite, kuris modelis labiausiai tinka jūsų ištekliams, ir naudokite šią komandą, kad jį įdiegtumėte:

docker-compose paleisti dalai npx dalai alpaca įdiegti 13B

Arba:

docker-compose paleisti dalai npx dalai lama įdiegti 13B

Yra tikimybė, kad per Dalai atsisiųsti modeliai gali būti sugadinti. Jei taip yra, paimkite juos iš Apkabinantis Veidas vietoj to.

Grįžę į komandų eilutę, iškvieskite „Docker Compose“ atskirtu režimu:

docker-compose up -d

Patikrinkite, ar talpykla tinkamai veikia:

dokeris-komponuoti ps

Jei viskas veikia taip, kaip turėtų, atidarykite žiniatinklio naršyklę ir įveskite vietinis šeimininkas: 3000 adreso juostoje.

Linksminkitės naudodami savo didelės kalbos modelį sistemoje „Linux“.

Atsidarius žiniatinklio sąsajai pamatysite teksto laukelį, kuriame galėsite įrašyti raginimus.

Rašyti veiksmingus raginimus sunku, o Dalai kūrėjai naudingai pateikė daugybę šablonų, kurie padės gauti naudingą Dalai atsakymą.

Šitie yra AI-dialogas, Chatbot, Numatytas, Instrukcija, Perrašyti, Išversti, ir „Twitter“ sentimentas.

Kaip ir tikėjotės, AI-dialogas ir Chatbot šablonų struktūra yra tokia, kuri leidžia palaikyti tam tikrą pokalbį su LLM. Pagrindinis skirtumas tarp šių dviejų yra tas, kad pokalbių robotas turėtų būti „labai protingas“, o „AI-Dialog“ yra „paslaugus, malonus, paklusnus, sąžiningas ir žinantis savo ribas“.

Žinoma, tai yra jūsų „AI“ ir, jei jums patinka, galite pakeisti raginimą, kad pokalbių robotas būtų kvailas, o DI dialogo ypatybės būtų „sadistiškos“ ir „nenaudingos“. Viskas priklauso nuo tavęs.

Mes išbandėme Išversti nukopijuodami BBC naujienų istorijos pradinę pastraipą ir paprašydami Dalai išversti ją į ispanų kalbą. Vertimas buvo geras, o kai paleidome jį per „Google“ vertėją, kad paverstume jį atgal į anglų kalbą, pamatėme, kad jis yra gana skaitomas ir atkartojo originalaus kūrinio faktus ir jausmus.

Taip pat, Perrašyti šablonas įtikinamai persuko tekstą į naujo straipsnio pradžią.

The Numatytas ir Instrukcija raginimai yra sukurti taip, kad padėtų jums užduoti klausimus arba tiesiogiai nurodyti Dalai.

Dalai atsakymo tikslumas labai skirsis priklausomai nuo to, kokį modelį naudojate. 30B modelis bus daug naudingesnis nei 7B modelis. Bet net ir tada jums primenama, kad LLM yra tiesiog sudėtingos sistemos, skirtos atspėti kitą sakinio žodį.

Nei 7B, nei 13B Alpaca modeliai negalėjo pateikti tikslios 200 žodžių trumpos istorijos „Katė Lietus“, kurį sukūrė Ernestas Hemingvėjus, ir abu sukūrė įtikinančias siužeto linijas ir detales apie tai, kas yra istorija. esančios.

Ir nors „paslaugus, malonus, paklusnus, sąžiningas“ AI dialogas, kuris „žino savo ribas“, ir „labai protingas“ pokalbių robotas prieštaraus prieštaringus raginimus, galite pateikti Dalai tiesioginį nurodymą arba numatytąjį užklausą, ir jis parašys viską, kas jums patinka – kad ir kaip jums patinka tai.

Didelės kalbos modelis jūsų „Linux“ įrenginyje yra jūsų

Jei naudojate didelį kalbos modelį savo „Linux“ dėžutėje, jums nebus taikoma priežiūra arba paslaugos atšaukimas. Galite jį naudoti taip, kaip jums atrodo tinkama, nesibaimindami, kad pažeidžiamos įmonės turinio politikos pasekmės.

Jei jūsų skaičiavimo išteklių yra nedaug, netgi galite paleisti LLM vietoje, naudodami kuklų Raspberry Pi.