GaMS3-12B-Instruct
CJVTodprte uteži
- Licenca
- Gemma Terms of Use
- ID
cjvt/GaMS3-12B-Instruct
GaMS3-12B-Instruct ima v Slovenski pogovorni areni oceno 1.077 (±64), ki jo je določilo 368 glasov v slepih primerjavah v slovenščini. 95-odstotni interval ocene je 1.013–1.141: pove, kako natančno so jo glasovi doslej določili. Med odločenimi primerjavami zmaga v 62,5 % (162 zmag, 97 porazov, 109 izenačenj). Mediana dolžine njegovih odgovorov je 200 besed. Razvijalec modela je CJVT. Model ima odprte uteži (licenca: Gemma Terms of Use).
Na kratko
- Ocena
- 1.077±64
- 95-odstotni interval 1.013–1.141
- Dolžina odgovora
- 200besed
- mediana, običajno 33–521
- Glasovi
- 368
- 62,5 % zmag med odločenimi
Informacije o modelu
GaMS (Generativni model za slovenščino) Centra za jezikovne vire in tehnologije Univerze v Ljubljani (CJVT). Model za sledenje navodilom, zgrajen na osnovi modela Google Gemma 3 12B.
Statistika
Ocena s 95-odstotnim intervalom zaupanja
- gemini-2.5-proni aktiven
- gemini-2.5-flashni aktiven
- GaMS-27B-Instruct-Nemotronni aktiven
- GaMS3-12B-Instruct
- gpt-5
- gemini-2.0-flashni aktiven
- GaMS-9B-Instruct-Nemotron
Modeli tik nad njim in pod njim na lestvici, na isti osi. Navpična oznaka je ocena, črta 95-odstotni interval.
Izidi glasovanj
- Zmage162
- Izenačeno109
- Porazi97
- Število poizvedb
- 562
Dolžina odgovora med modeli
Mediana besed na odgovor za vsak model na lestvici, na isti osi.
Daljši odgovori kot pri 17 od 29 drugih modelov.
Vsi modeli v številkah
| Model | Mediana besed |
|---|---|
| gpt-oss-120b | 463 |
| Ministral-3-14B-Instruct-2512 | 348 |
| deepseek-r1 | 336 |
| gemini-2.5-pro | 330 |
| Qwen3-Next-80B-A3B-Instruct | 312 |
| gpt-oss-20b | 285 |
| gemini-3-pro-preview | 260 |
| gemini-2.5-flash | 242 |
| GaMS-9B-Instruct-Nemotron | 236 |
| GaMS-27B-Instruct-Nemotron | 226 |
| Mistral-Large-3-675B-Instruct-2512 | 224 |
| deepseek-r1-0528 | 216 |
| GaMS3-12B-Instruct | 200 |
| gpt-5-mini | 162 |
| kimi-k2-instruct | 142 |
| Mistral-Small-24B-Instruct-2501 | 110 |
| gpt-5 | 107 |
| gemma-3-12b-it | 107 |
| bielik-11b-v2.3-instruct | 104 |
| gemma-3-27b-it | 101 |
| gemini-1.5-pro | 100 |
| llama-4-scout-17b-16e-instruct | 91 |
| llama-3.3-70b-instruct | 90 |
| EuroLLM-9B-Instruct | 83 |
| gemini-2.0-flash | 78 |
| llama-4-maverick-17b-128e-instruct | 78 |
| gpt-4o | 68 |
| Zlatorog-12B-Instruct-Beta | 47 |
| GaMS-9B-Instruct | 13 |
| GaMS-27B-Instruct | 10 |