Preskočite na vsebino

O Slovenski pogovorni areni

Slovenska pogovorna arena je javna spletna platforma Centra za jezikovne vire in tehnologije (CJVT) in Fakultete za računalništvo in informatiko Univerze v Ljubljani. Obiskovalci postavijo vprašanje v slovenščini, preberejo odgovora dveh anonimnih jezikovnih modelov hkrati in izberejo boljšega. Na podlagi podanih ocen skupaj dopolnjujemo lestvico jezikovnih modelov in gradimo preferenčne podatkovne množice, ki pripomorejo pri razvoju slovenskih jezikovnih modelov, kot je GaMS.

Zbrane ocene pomagajo izboljšati kakovost generiranih odgovorov in podpirajo razvoj odprto dostopnih velikih jezikovnih modelov prilagojenih za slovenski jezik.

Metodologija

Vsaka ocena je slepa primerjava: modela A in B ostaneta anonimna, dokler ne glasujete. Glas za boljši odgovor šteje kot zmaga, izenačenje in „oba sta slaba“ pa kot pol zmage za vsakega od modelov. Glasovi v pogovorih, v katerih kateri od modelov ni odgovoril, se ne štejejo.

Ocene in intervali

Ocene izračunamo iz vseh štetih glasov hkrati z modelom Bradley–Terry, ki iz izidov primerjav oceni moč vsakega modela. Negotovost ocenimo tako, da izračun ponovimo na 1.000 naključnih vzorcih glasov (bootstrap): vrednost ± označuje 95-odstotni interval zaupanja – širši kot je, manj gotova je ocena. Lestvica modele razvrsti po oceni; modelov, katerih intervali se prekrivajo, glasovi še ne ločijo zanesljivo. Povprečna ocena vseh modelov je 1.000.

Ocene, intervale in število glasov vseh modelov prikazuje lestvica, vsak model pa ima tudi svojo stran z izidi primerjav, na primer GaMS3-12B-Instruct.

Povejte nam

Kaj vam je v areni všeč, kaj ne deluje ali kateri model pogrešate? Preberemo vsako sporočilo.

Pošljite mnenje ali napakoPredlagajte model

Statistika

Poslanih sporočilŠtevilo sporočil med uporabniki in jezikovnimi modeli.
14.801
Ocenjenih pogovorovŠtevilo ocen pogovorov, ki nam pomagajo rangirati uspešnost modelov.
3.193
Aktivnih modelovŠtevilo jezikovnih modelov, ki so trenutno aktivni v Areni.
16

Citiraj areno

Če se na areno sklicujete v raziskovalnem delu, citirajte magistrsko delo.

Petrič, T. (2025). Prilagoditev velikih jezikovnih modelov s človeškimi preferencami [Magistrsko delo, Univerza v Ljubljani, Fakulteta za računalništvo in informatiko]. https://hdl.handle.net/20.500.12556/RUL-173848

Omenjeno v

  1. Domen Vreš in jezikovni model za slovenščino GaMS

    Ogrodje, podkast,

  2. Domen Vreš: Če želimo suverenost na področju jezikovnih modelov, potrebujemo še več podatkov

    RTV SLO, Radio Ars, Podobe znanja,

  3. Building a Strong Instruction Language Model for a Less-Resourced Language

    arXiv,

  4. GaMS3-12B-Instruct model card

    Hugging Face (CJVT),

  5. Prejeli smo Informacijsko jagodo za razvoj velikega generativnega jezikovnega modela za slovenščino

    CJVT UL, novice,

  6. Prilagoditev velikih jezikovnih modelov s človeškimi preferencami

    Repozitorij Univerze v Ljubljani, magistrsko delo,

  7. Slovenska LLM Arena: Prihodnost vrednotenja jezikovnih modelov v Sloveniji

    SDJT, predavanje JOTA (VideoLectures.NET),

Zahvale in sponzorji

Razvoj platforme in projektov poteka pod okriljem Centra za jezikovne vire in tehnologije (CJVT) in Fakultete za računalništvo in informatiko (FRI), Univerza v Ljubljani.

Sodelujoči na projektu

Financiranje zagotavljajo

Ministrstvo za visoko šolstvo, znanost in inovacije Republike Slovenije ter Evropska unija – NextGeneration EU, v okviru programa PoVeJMo.

Iskreno se zahvaljujemo vsem institucijam in posameznikom, ki kakorkoli pripomorejo k napredku slovenskih jezikovnih tehnologij.