Hopp til innhold

Wammer Evals

Seks evalueringssuiter for KI-modeller på norsk fagspråk: juss, dokumentforståelse, tverrfaglig kunnskap, finans, lang kontekst og agentiske oppgaver. Josefine-resultatene gjelder Josefine 1, forrige generasjon.

v0 · foreløpige interne kjøringer · oppdatert · temperatur 0 · 0-shot

Status

v0-kjøringene er interne og ikke uavhengig reprodusert.

Tredjepartsmodeller anonymiseres inntil verifiserte kjøringer foreligger.

Rangeringer med overlappende konfidensintervall er statistisk uavgjorte.

Oversikt

Modeller mot suiter — primærmetrikk per suite med 95 % konfidensintervall
ModellJuss-BenchQA · Accuracy (%)Dok-BenchEnkeltdokument · Token-F1 (F1)Tverr-BenchFlervalg samlet · Accuracy (%)Fin-BenchNumerisk QA · Exact match (%)LK-BenchSyntetisk 8k · Accuracy (%)Agent-Benchpass^1 · pass^1 (%)
Josefine 171,2[67,5, 74,7]76,8[73,2, 80,1]72,5[69,8, 75,1]55,4[49,2, 61,7]88,3[85,0, 91,2]47,9[38,0, 58,0]
Frontier A†74,6[71,0, 78,0]75,9[72,3, 79,3]74,2±2,661,7[55,4, 67,9]92,5[89,8, 94,9]66,7[56,9, 75,6]
Frontier B†72,9[69,2, 76,4]73,4[69,7, 76,9]70,9[68,1, 73,6]58,3[52,1, 64,6]91,1[88,2, 93,7]61,5[51,4, 70,7]
Frontier C†68,3[64,5, 72,0]70,2[66,3, 73,9]66,3[63,4, 69,1]49,6[43,3, 55,8]89,6[86,5, 92,4]55,2[45,1, 64,9]
Åpen A†60,8±3,962,5[58,4, 66,5]58,7[55,7, 61,6]37,9[31,7, 44,2]84,2[80,5, 87,7]36,5[27,3, 46,5]

Matrisen viser ett navngitt spor per suite; øvrige spor rapporteres på suite-sidene. Verdier er ikke sammenlignbare på tvers av suiter. Overlappende konfidensintervaller regnes som uavgjort.

† Anonymisert inntil verifisert kjøring foreligger.

Suiter

Juss-Bench v0.1 · 2 spor · n=612 (QA) · privat holdout 75 % · sist kjørt · foreløpig

Juss-Bench

Juridisk QA på norsk rett, med og uten kildeoppslag.

Dok-Bench v0.1 · 2 spor · n=480 (Enkeltdokument) · privat holdout 80 % · sist kjørt · foreløpig

Dok-Bench

QA og resonnering over norske kontrakter, rapporter og vedtak.

Tverr-Bench v0.1 · 2 spor · n=1080 (Flervalg samlet) · privat holdout 75 % · sist kjørt · foreløpig

Tverr-Bench

Tverrfaglig flervalg på norsk: rett, utdanning, helse, forvaltning, plan og bygg samt offentlig økonomi.

Fin-Bench v0.1 · 2 spor · n=240 (Numerisk QA) · privat holdout 75 % · sist kjørt · foreløpig

Fin-Bench

Numerisk QA og tabellresonnering over norske regnskap, prospekter og leieavtaler.

LK-Bench v0.1 · 6 spor · n=400 (Syntetisk 8k) · privat holdout 75 % · sist kjørt · foreløpig

LK-Bench

Effektiv kontekstlengde og global forståelse av lange norske dokumenter.

Agent-Bench v0.1 · 2 spor · n=96 (pass^1) · privat holdout 75 % · sist kjørt · foreløpig

Agent-Bench

Fleroperasjonsoppgaver med verktøy mot mock-registre; pass^k-pålitelighet.

Metodikk

  • Temperatur 0 og identiske prompts for alle modeller.
  • 0-shot i alle spor.
  • Bootstrap-konfidensintervall, 95 %, minst 1 000 resamples.
  • 20–25 % åpen dev-andel, 75–80 % privat holdout.
  • Kanari-GUID og n-gram-sjekk mot kontaminasjon.
  • Årlig rotasjon av privat holdout.

Metodikk for Wammer Evals →

Anonymisering

Tredjepartsmodeller anonymiseres (Frontier A–C, Åpen A) inntil verifiserte kjøringer med publiserte logger foreligger. Josefine 1 navngis.

Referanser

  1. Liang et al. (2022): HELM — Holistic Evaluation of Language Models
  2. Guha et al. (2023): LegalBench — A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models
  3. Hsieh et al. (2024): RULER — What’s the Real Context Size of Your Long-Context Language Models?
  4. Bai et al. (2024): LongBench v2 — Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks
  5. Mialon et al. (2023): GAIA — A Benchmark for General AI Assistants
  6. Yao et al. (2024): τ-bench — A Benchmark for Tool-Agent-User Interaction in Real-World Domains
  7. Chen et al. (2021): FinQA — A Dataset of Numerical Reasoning over Financial Data
  8. Wang et al. (2024): MMLU-Pro — A More Robust and Challenging Multi-Task Language Understanding Benchmark
  9. Dasigi et al. (2021): QASPER — A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers