Preskočite na vsebino
Lestvica

GaMS3-12B-Instruct

CJVTodprte uteži

Licenca
Gemma Terms of Use
ID
cjvt/GaMS3-12B-Instruct

GaMS3-12B-Instruct ima v Slovenski pogovorni areni oceno 1.060 (±55), ki jo je določilo 392 glasov v slepih primerjavah v slovenščini. 95-odstotni interval ocene je 1.005–1.115: pove, kako natančno so jo glasovi doslej določili. Med odločenimi primerjavami zmaga v 61,2 % (172 zmag, 109 porazov, 111 izenačenj). Mediana dolžine njegovih odgovorov je 201 beseda. Razvijalec modela je CJVT. Model ima odprte uteži (licenca: Gemma Terms of Use).

Na kratko

Ocena
1.060±55
95-odstotni interval 1.005–1.115
Dolžina odgovora
201beseda
mediana, običajno 33–525
Glasovi
392
61,2 % zmag med odločenimi

Informacije o modelu

GaMS (Generativni model za slovenščino) Centra za jezikovne vire in tehnologije Univerze v Ljubljani (CJVT). Model za sledenje navodilom, zgrajen na osnovi modela Google Gemma 3 12B.

Več o modelu (odpre se v novem zavihku)

Statistika

Ocena s 95-odstotnim intervalom zaupanja

  1. GaMS2-27B-Instruct
  2. GaMS-27B-Instruct-Nemotronni aktiven
  3. gpt-5
  4. GaMS3-12B-Instruct
  5. gemini-2.0-flashni aktiven
  6. Mistral-Large-3-675B-Instruct-2512ni aktiven
  7. gemma-3-27b-itni aktiven

Modeli tik nad njim in pod njim na lestvici, na isti osi. Navpična oznaka je ocena, črta 95-odstotni interval.

Izidi glasovanj

  • Zmage172
  • Izenačeno111
  • Porazi109
Število poizvedb
601

Dolžina odgovora med modeli

Mediana besed na odgovor za vsak model na lestvici, na isti osi.

Daljši odgovori kot pri 24 od 39 drugih modelov.

Vsi modeli v številkah
ModelMediana besed
gpt-oss-120b463
Ministral-3-14B-Instruct-2512348
deepseek-r1336
gemini-2.5-pro330
Qwen3-Next-80B-A3B-Instruct312
gemma-4-26b-a4b-it306
Qwen3.6-27B284
gpt-oss-20b284
gemini-3-pro-preview260
gemini-2.5-flash242
GaMS-9B-Instruct-Nemotron229
GaMS-27B-Instruct-Nemotron226
gemini-3.1-pro-preview224
Mistral-Large-3-675B-Instruct-2512224
deepseek-r1-0528216
GaMS3-12B-Instruct201
nemotron-3-ultra-550b-a55b199
GaMS2-27B-Instruct196
gemma-4-31b-it179
gemini-3.8-flash178
llama3-70b-instruct168
gpt-5-mini152
kimi-k2-instruct142
gemini-3.5-flash141
Mistral-Small-24B-Instruct-2501110
gemma-3-12b-it107
bielik-11b-v2.3-instruct104
gpt-5101
gemma-3-27b-it101
gemini-1.5-pro100
llama-4-scout-17b-16e-instruct91
llama-3.3-70b-instruct90
EuroLLM-9B-Instruct83
gemini-2.0-flash78
llama-4-maverick-17b-128e-instruct78
gpt-5.6-luna77
gpt-4o68
Zlatorog-12B-Instruct-Beta47
GaMS-9B-Instruct13
GaMS-27B-Instruct10

Dolžina odgovora v žetonih

Delež odgovorov po številu žetonov, iz 56 odgovorov.

Žeton je delček besede, kot ga šteje model. Razmišljanje modela ni šteto.

Podatki po razredih
ŽetoniOdgovoriDelež
0–1281323 %
128–256916 %
256–38435 %
384–51235 %
512–64035 %
640–76835 %
768–89624 %
896–1.02459 %
1.024–1.15235 %
1.152–1.280611 %
1.280–1.40800 %
1.408–1.53635 %
1.536–1.66400 %
1.664–1.79200 %
1.792–1.92024 %
1.920–2.04800 %
2.048–2.17612 %
2.176–2.30400 %
2.304–2.43200 %
2.432–2.56000 %
2.560–2.68800 %
2.688–2.81600 %
2.816–2.94400 %
2.944–3.07200 %
3.072–3.20000 %
3.200–3.32800 %
3.328–3.45600 %
3.456–3.58400 %
3.584–3.71200 %
3.712–3.84000 %
3.840–3.96800 %
3.968–4.09600 %
4.096–4.22400 %
4.224–4.35200 %
4.352–4.48000 %
4.480–4.60800 %
4.608–4.73600 %
4.736–4.86400 %
4.864–4.99200 %
4.992–5.12000 %
5.120–5.24800 %
5.248–5.37600 %
5.376–5.50400 %
5.504–5.63200 %
5.632–5.76000 %
5.760–5.88800 %
5.888–6.01600 %
6.016–6.14400 %
6.144–6.27200 %
6.272–6.40000 %
6.400–6.52800 %
6.528–6.65600 %
6.656–6.78400 %
6.784–6.91200 %
6.912–7.04000 %
7.040–7.16800 %
7.168–7.29600 %
7.296–7.42400 %
7.424–7.55200 %
7.552–7.68000 %
7.680–7.80800 %
7.808–7.93600 %
7.936–8.06400 %
8.064–8.19200 %