Hopp til innhold
← Wammer Evals

LK-Bench · v0.1 · Oppdatert · Foreløpig

LK-Bench

Effektiv kontekstlengde og global forståelse av lange norske dokumenter. Josefine-resultatene gjelder Josefine 1, forrige generasjon.

Foreløpige resultater fra interne v0-kjøringer. Ikke sammenlignbare på tvers av versjoner.

Sammendrag

LK-Bench måler effektiv kontekstlengde og global dokumentforståelse på norsk. Suiten kombinerer syntetiske oppgaver i RULER-stil ved fire lengdenivåer (8k–128k tokens) med realistisk QA over hele NOU-er, kontraktsbunker og kommuneplaner, samt parvise påstander i NoCha-stil der begge varianter må skåres riktig. Effektiv kontekstlengde rapporteres som lengste nivå med minst 85 % av 8k-skåren. Lengder måles i tokens per modell. Tegn faller utenfor målingen.

Om suiten

Oppgavetyper
Syntetisk: NIAH-varianter, variable tracking, aggregering, multi-hop-sporing. Realistisk: flervalgs-QA og parvise påstander over hele dokumenter.
n per spor
400 per lengdenivå (syntetisk), 160 (realistisk QA), 120 par (påstander).
Metrikk
Accuracy (%) per lengdenivå og for realistisk QA; par-accuracy (%) for påstander.
Skåring
Programmatisk exact match mot fasit; ingen LLM-as-judge i denne suiten.
Effektiv kontekst
Lengste nivå med minst 85 % av 8k-skåren. Terskelen er relativ til modellens egen 8k-skår; RULER bruker en absolutt terskel.
Holdout
25 % åpen dev-delmengde, 75 % privat holdout med årlig rotasjon.
Målform
Syntetiske oppgaver på bokmål; realistiske kilder følger kildens målform.

Norske forhold

  • NOU-er, stortingsmeldinger og lovforarbeider brukes som lange kilder — offentlige under NLOD-lisens.
  • Norsk tokeniseres 20–40 % dyrere enn engelsk i mange tokenizers; lengdenivåer måles derfor i tokens per modell.
  • Realistiske spørsmål krever kryssjekk mot norsk forvaltnings- og plankontekst, ikke bare tekstgjenfinning.

Resultater

Syntetiske lengdenivåer

Oppgaver i RULER-stil ved 8k–128k tokens; accuracy per nivå. Effektiv kontekst utledes som lengste nivå med minst 85 % av 8k-skåren.

Syntetiske lengdenivåer — accuracy (%) per nivå med 95 % konfidensintervall og effektiv kontekst
Modell8k32k64k128kEffektiv kontekst
Josefine 188,3[85,0, 91,2]84,9[81,2, 88,3]78,1[73,9, 82,1]68,4±4,664k
Frontier A†92,5[89,8, 94,9]90,8[87,8, 93,4]88,2[84,9, 91,2]84,7[81,1, 88,1]128k
Frontier B†91,1[88,2, 93,7]88,4[85,1, 91,4]84,6[81,0, 88,0]78,9[74,8, 82,9]128k
Frontier C†89,6[86,5, 92,4]85,7[82,1, 89,0]80,3[76,2, 84,1]71,2[66,7, 75,6]64k
Åpen A†84,2[80,5, 87,7]77,6[73,4, 81,6]66,9[62,2, 71,5]—2—32k

Effektiv kontekst: lengste nivå med minst 85 % av 8k-skåren (relativ terskel; RULER bruker en absolutt).

1. Konfidensintervallene overlapper for flere modeller; rangeringen er statistisk uavgjort.

2. Åpen A har kontekstvindu under 128k tokens; nivået er ikke kjørt.

† Anonymisert inntil verifisert kjøring foreligger.

Kjørt av Wammer, temperatur 0, 0-shot, n=400, privat holdout 75 %, .

Realistisk QA

Flervalgs-QA over hele NOU-er, kontraktsbunker og kommuneplaner (30k–120k tokens). Svar krever global forståelse; enkeltoppslag er utilstrekkelig.

Realistisk QA — resultater, Accuracy (%)
Rang og modell12Accuracy (%)95 % konfidensintervallnKjøring
1–4Frontier A†78,1[71,3, 84,2]160Intern v0
1–4Frontier B†75,0[67,9, 81,3]160Intern v0
1–5Josefine 171,9[64,7, 78,5]160Intern v0
1–5Frontier C†70,6[63,2, 77,4]160Intern v0
3–5Åpen A†58,8[51,0, 66,3]160Intern v0

1. Lavt n gir brede konfidensintervall; alle rangeringer er statistisk uavgjorte.

2. † Anonymisert inntil verifisert kjøring foreligger.

Kjørt av Wammer, temperatur 0, 0-shot, n=160, privat holdout 75 %, .

Parvise påstander

Påstandsverifisering i NoCha-stil: par av sann og usann påstand om samme dokument der begge må skåres riktig. Straffer gjetting.

Parvise påstander — resultater, Par-accuracy (%)
Rang og modell23Par-accuracy (%)195 % konfidensintervallnKjøring
1–4Frontier A†55,0[45,9, 63,9]120Intern v0
1–4Frontier B†50,8±9,1120Intern v0
1–5Josefine 145,8[36,9, 54,9]120Intern v0
1–5Frontier C†43,3[34,5, 52,4]120Intern v0
3–5Åpen A†30,0[22,1, 38,6]120Intern v0

1. Tilfeldig gjetting gir 25 % forventet par-accuracy.

2. Konfidensintervallene overlapper for flere modeller; rangeringen er statistisk uavgjort.

3. † Anonymisert inntil verifisert kjøring foreligger.

Kjørt av Wammer, temperatur 0, 0-shot, n=120, privat holdout 75 %, .

Metodikk

Suiten har to lag. Det syntetiske laget følger RULER: fire oppgavetyper (NIAH-varianter, variable tracking, aggregering, multi-hop-sporing) genereres programmatisk på bokmål ved 8k, 32k, 64k og 128k tokens, 100 oppgaver per type og nivå. Distraktortekst hentes fra NLOD-lisensierte offentlige dokumenter.

Det realistiske laget bygger på LongBench v2 og NoCha: flervalgs-QA og parvise påstander over hele NOU-er, kontraktsbunker og kommuneplaner. Spørsmålene er nyskrevne av fagfolk og krever global forståelse av dokumentet; gjenfinning av enkeltavsnitt er utilstrekkelig.

Effektiv kontekstlengde rapporteres per modell som lengste nivå med minst 85 % av 8k-skåren. Terskelen er relativ til modellens egen 8k-skår, i motsetning til RULERs absolutte terskel; modeller med lav 8k-baseline møter dermed et lavere absolutt krav.

Skåring

  • Programmatisk exact match mot fasit i alle spor; ingen LLM-as-judge.
  • Par-accuracy krediterer kun par der både sann og usann påstand skåres riktig.
  • 95 % bootstrap-konfidensintervall, minst 1 000 resamples over oppgaver.
  • Temperatur 0, 0-shot, identiske prompts på tvers av modeller.

Kontaminasjonskontroll

Kanari-GUID i alle datafiler. Syntetiske oppgaver genereres programmatisk per kjøring og kan ikke ligge i treningsdata. Realistiske spørsmål er nyskrevne og n-gram-sjekket mot åpne korpus; kildedokumentene (NOU-er, kommuneplaner) er offentlige, men spørsmål og fasit er ikke publisert.

Felles metodikk for Wammer Evals →

Begrensninger

  • Syntetiske oppgaver måler primært gjenfinning og sporing; høy skår garanterer ikke resonnering over lang kontekst.
  • Realistisk QA og påstandspar har lavt n (160/120); konfidensintervallene er brede og de fleste rangeringer statistisk uavgjorte.
  • Åpen A er ikke kjørt på 128k-nivået. Modellens effektive kontekstlengde (32k) følger av målt degradering ved 64k og påvirkes ikke av det manglende nivået.
  • Nivåer over 128k tokens er ikke dekket i v0.
  • Én kjøring per konfigurasjon; varians mellom kjøringer er ikke estimert.

Endringslogg

— v0.1 — første interne kjøring publisert. Fire syntetiske lengdenivåer, realistisk QA og parvise påstander.

Referanser

  1. Hsieh et al. (2024): RULER — What’s the Real Context Size of Your Long-Context Language Models?
  2. Bai et al. (2024): LongBench v2 — Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks
  3. Zhang et al. (2024): ∞Bench — Extending Long Context Evaluation Beyond 100K Tokens
  4. Karpinska et al. (2024): One Thousand and One Pairs — A “novel” challenge for long-context language models (NoCha)

Tredjepartsmodeller anonymiseres (Frontier A–C, Åpen A) inntil verifiserte kjøringer med publiserte logger foreligger. Josefine 1 navngis. Henvendelser: research@wammer.tech.