O Slovenski pogovorni areni
Slovenska pogovorna arena je interaktivna platforma, ki omogoča primerjalno ocenjevanje pogovorov med različnimi velikimi jezikovnimi modeli. Uporabniki se pogovarjajo z dvema jezikovnima modeloma hkrati, nato pa ocenijo, kateri model je bil boljši. To nam omogoča zbiranje dragocenih povratnih informacij o kakovosti odzivov različnih modelov.
Zbrane ocene pomagajo izboljšati kakovost generiranih odgovorov in podpirajo razvoj odprto dostopnih velikih jezikovnih modelov prilagojenih za slovenski jezik.
Metodologija
Vsaka ocena je slepa primerjava: modela A in B ostaneta anonimna, dokler ne glasujete. Glas za boljši odgovor šteje kot zmaga, izenačenje in „oba sta slaba“ pa kot pol zmage za vsakega od modelov. Glasovi v pogovorih, v katerih kateri od modelov ni odgovoril, se ne štejejo.
Ocene in intervali
Ocene izračunamo iz vseh štetih glasov hkrati z modelom Bradley–Terry, ki iz izidov primerjav oceni moč vsakega modela. Negotovost ocenimo tako, da izračun ponovimo na 1.000 naključnih vzorcih glasov (bootstrap): vrednost ± označuje 95-odstotni interval zaupanja – širši kot je, manj gotova je ocena. Mesto modela je za ena večje od števila modelov, katerih celoten interval leži nad njegovim, zato si lahko več modelov deli isto mesto. Povprečna ocena vseh modelov je 1.000.
Statistika
- Poslanih sporočilŠtevilo sporočil med uporabniki in jezikovnimi modeli.
- 13.774
- Ocenjenih pogovorovŠtevilo ocen pogovorov, ki nam pomagajo rangirati uspešnost modelov.
- 2.954
- Aktivnih modelovŠtevilo jezikovnih modelov, ki so trenutno aktivni v Areni.
- 12
Zahvale in sponzorji
Razvoj platforme in projektov poteka pod okriljem Centra za jezikovne vire in tehnologije (CJVT) in Fakultete za računalništvo in informatiko (FRI), Univerza v Ljubljani.
Financiranje zagotavljajo
Ministrstvo za visoko šolstvo, znanost in inovacije Republike Slovenije ter Evropska unija – NextGeneration EU, v okviru programa PoVeJMo.
Iskreno se zahvaljujemo vsem institucijam in posameznikom, ki kakorkoli pripomorejo k napredku slovenskih jezikovnih tehnologij.