Yra daug DI valdomų pokalbių robotų, bet kuris naudoja geriausią LLM? Štai kaip galite palyginti LLM, kad išsiaiškintumėte, kuris yra geriausias.
Kai internete yra keletas pokalbių robotų, gali būti labai sunku pasirinkti tą, kuris atitinka jūsų poreikius. Nors bet kuriuos du pokalbių robotus galite palyginti rankiniu būdu, tai užtruks daug laiko ir pastangų.
Geresnis ir paprastesnis būdas yra naudoti „Chatbot Arena“, kad būtų galima palyginti skirtingus LLM, naudojančius populiarius pokalbių robotus. Jame yra keletas režimų, skirtų įvairiems modeliams palyginti, kuriuos paaiškiname toliau.
Kas yra Chatbot Arena?
„LMSYS Org“ sukurta „Chatbot Arena“ yra platforma, leidžianti palyginti įvairius LLM. Įvairiems modeliams reitinguoti naudojama Elo vertinimo sistema.
„Chatbot Arena“ siūlo keletą būdų, kaip vartotojai gali palyginti ir vertinti LLM. Remdamasi pateiktais atsiliepimais, Chatbot Arena reitinguoja skirtingus LLM viešoje lyderių lentelėje. Projektą remia HuggingFace, atvirojo kodo alternatyva ChatGPT.
Kaip palyginti anoniminius LLM su „Chatbot Arena“.
„Chatbot Arena“ mūšio režimas leidžia anonimiškai palyginti LLM. Pavyzdžiui, galite palyginkite „ChatGPT“ (GPT 3.5) ir „Claude“.. Tai reiškia, kad „Chatbot Arena“ pati pasirenka bet kokius dviejų kalbų modelius ir, neatskleisdama jų pavadinimų, leidžia juos palyginti.
Kai įvesite pirmąjį raginimą, „Chatbot Arena“ gauna atsakymus iš abiejų modelių ir pateikia juos greta. Platforma leidžia atkurti atsakymus (abiejų LLM) ir išvalyti istoriją, kad pradėtumėte kitą pokalbį. Galite užduoti daugiau klausimų, kol išsirinksite aiškų laimėtoją.
Tada galite pasirinkti, ar A modelis yra geresnis, ar B. Išrinkdama nugalėtoją, Chatbot Arena atskleidžia abiejų botų pavadinimus. Šis režimas puikiai veikia, nes jūsų sprendimui įtakos neturi ankstesnis modelių suvokimas ar populiarumas. „Chatbot Arena“ taip pat leidžia reguliuoti tokius parametrus kaip temperatūra, „Top P“ ir didžiausios išvesties žetonai.
Kaip palyginti pasirinktus LLM su „Chatbot Arena“.
Jei norite palyginti bet kuriuos du konkrečius LLM, galite perjungti į „Chatbot Arena“ greta esantį režimą. Išskyrus tai, kad LLM galite pasirinkti patys, šis režimas veikia beveik taip pat, kaip mūšio režimas. Galite koreguoti parametrus, atkurti atsakymus, išvalyti istoriją ir galiausiai pasirinkti nugalėtoją.
Tačiau šiuo režimu pasiekiamų LLM skaičius yra ribotas. Galite pasirinkti skirtingas Llama 2, Vicuna ir ChatGLM versijas. Nors populiarūs LLM, tokie kaip GPT-4, GPT-3.5, Claude 1, Claude 2 ir kt., šiuo metu šiuo režimu nepasiekiami, Chatbot Arena planuoja juos pridėti.
Palyginkite LLM naudodami „Chatbot Arena“.
Nesvarbu, ar ieškote savo poreikiams tinkamo pokalbių roboto, ar tiesiog norite išbandyti skirtingus LLM, „Chatbot Arena“ yra puiki platforma.
Tai supaprastintas būdas palyginti skirtingus kalbų modelius. Ir kadangi ji palaiko lyderių lentelę pagal vartotojų atsiliepimus, galite tiesiogiai peržiūrėti įvairių modelių reitingus, patys neatlikdami testų.
