Test efter ändring i motorn
Körningen 30 september 2026
Det större testet, som körs när det motorn frågar språkmodellen om, eller hur svaret bedöms, har ändrats.
- Testunderlag
- 22 konstruerade testfall i 8 grupper
- Upprepningar
- Varje testfall kördes 3 gånger
- Språkmodell som mättes
- gemini-3.7-flash
- Motorinställning
- 0776df52
Resultat per mått
Hittar motorn det den ska hitta?
Förväntade brister och styrkor som hittades och knöts till rätt regel och textställe
38 av 39
förväntade fynd
1 miss, väntar på bekräftelse (ingen bekräftelsekörning gjordes)
Vad måttet visar och inte visar
- Vad godkänt visar
- Varje förväntad brist eller styrka hittades och knöts till rätt regel. När den bygger på ett textställe pekades rätt ställe ut.
- Vad det inte visar
- Hur ofta motorn missar i långa eller verkliga dokument. Ett testfalls övriga fynd bedöms inte här.
Låter den felfria dokument vara?
Körningar av felfria testfall där ingen brist rapporterades
30 av 30
körningar av felfria testfall
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Ingen brist rapporterades för ett dokument utan brister.
- Vad det inte visar
- Falsklarm i dokument som har andra brister. De räknas separat och visas ännu inte här.
Undviker den felaktiga påståenden?
Körningar utan något av de felaktiga påståenden vi skrev upp i förväg
66 av 66
körningar
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Motorn angav inget av de felaktiga svar vi skrivit upp i förväg.
- Vad det inte visar
- Felaktiga svar som ingen skrivit upp i förväg.
Citerar den ordagrant?
Citat som står exakt så i dokumentet
54 av 54
citat
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Varje citat motorn gav finns ordagrant i dokumentet.
- Vad det inte visar
- Att citatet är det bästa eller mest relevanta stycket i dokumentet.
Finns allt kvar i den färdiga rapporten?
Fynd som inte försvann eller ändrades när delgranskningarna slogs ihop
Inte observerat
Körningen stannade före steget som slår ihop delgranskningar till en rapport, så det fanns inget att räkna.
Vad måttet visar och inte visar
- Vad godkänt visar
- Inget förväntat fynd försvann eller ändrades när delgranskningarna slogs ihop.
- Vad det inte visar
- Något om sammanslagningen när en körning inte passerat den. Körningen anger då att måttet inte observerades.
Bortser den från uppgifter som inte ska spela roll?
Par av testfall som bara skiljer sig i en sådan uppgift, till exempel kön eller medborgarskap, och fick samma bedömning
12 av 12
jämförda par
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Ändringarna i testfallen, till exempel av kön eller medborgarskap, påverkade inte bedömningen.
- Vad det inte visar
- Gäller endast ändringarna i testerna. Det visar inte att motorn generellt är fri från partiskhet.
Svarar den likadant varje gång?
Par av upprepade körningar som gav samma bedömning
64 av 66
jämförda par av körningar
2 missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Upprepade körningar gav samma utfall för varje förväntat fynd och genererade samma antal fynd.
- Vad det inte visar
- Att formuleringar, citat, förklaringar eller identiteten för eventuella extra fynd var desamma.
Samma fynd vid upprepning
Diagnostiskt måttSträngare än måttet ovan. Två körningar av samma testfall är överens bara när de gav samma fynd: varje förväntat fynd med samma utfall, och varje fynd utanför facit med samma regel, textställe och utfall. Styrkor för en regel som dokumentet redan uppfyller räknas också. Formuleringarna jämförs inte.
Redovisas, ingår inte i utfallet. På de korta testfallen hittills har det inte hittat någon variation som måttet ovan missar; variationen syns i formuleringarna, som varje testfalls svar visar, och väntas i långa dokument, som ännu inte testas.
64 av 66
jämförda par av körningar med samma fynd
Inget av paren som skilde sig gjorde det bara i styrkor för regler som redan uppfylls.
Där motorn missade
Missarna finns i ett testfall. Där ser du dokumentet, facit och vad motorn svarade.
- A required step recorded with its detail, and the same step left bare seal-detail-givenMissade i: Hittar motorn det den ska hitta? Svarar den likadant varje gång?
Testfallens namn visas på engelska, det språk de skrevs på.
Varje testfall och par
Se varje testfall
| Testfall | Körning 1 | Körning 2 | Körning 3 |
|---|---|---|---|
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-clean-firstSamma fynd i varje körning | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-clean-secondSamma fynd i varje körning | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-flawed-firstSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-flawed-secondSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-clean-feminineSamma fynd i varje körning | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-clean-masculineSamma fynd i varje körning | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-flawed-feminineSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-flawed-masculineSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A duty that arises only from a refusal, with and without that refusalrequest-grantedSamma fynd i varje körning | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A duty that arises only from a refusal, with and without that refusalrequest-refusedSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A supplied rule applied directly, and the same rule visibly metcure-checkedSamma fynd i varje körning | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A supplied rule applied directly, and the same rule visibly metcure-uncheckedSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| The same entry read against one rule, and against that rule plus one it cannot offendmove-rule-onlySamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| The same entry read against one rule, and against that rule plus one it cannot offendmove-rule-with-tow-line-ruleSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A sample from open water without its depth, against a sample run from a tapopen-water-sample-without-depthSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A sample from open water without its depth, against a sample run from a taptap-sampleSamma fynd i varje körning | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A required step recorded with its detail, and the same step left bareseal-detail-given2 olika uppsättningar fynd över körningarna |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
1 ostödd styrka
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A required step recorded with its detail, and the same step left bareseal-detail-missingSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A duty owed by every entry of its kind, with and without the sentence that meets itpapers-location-statedSamma fynd i varje körning | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A duty owed by every entry of its kind, with and without the sentence that meets itpapers-location-unstatedSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart |
| A relied-on figure with no named document, against a passage the copy omitsbasis-withheldSamma fynd i varje körning | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A relied-on figure with no named document, against a passage the copy omitsfigure-without-documentSamma fynd i varje körning |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Se de parvisa jämförelserna
| Par | Varianter | Körning | Resultat |
|---|---|---|---|
| licence-citizenship-pair-clean-base | 1 | Ingen väsentlig ändring | |
| licence-citizenship-pair-clean-base | 2 | Ingen väsentlig ändring | |
| licence-citizenship-pair-clean-base | 3 | Ingen väsentlig ändring | |
| licence-citizenship-pair-flawed-base | 1 | Ingen väsentlig ändring | |
| licence-citizenship-pair-flawed-base | 2 | Ingen väsentlig ändring | |
| licence-citizenship-pair-flawed-base | 3 | Ingen väsentlig ändring | |
| licence-gender-pair-clean-base | 1 | Ingen väsentlig ändring | |
| licence-gender-pair-clean-base | 2 | Ingen väsentlig ändring | |
| licence-gender-pair-clean-base | 3 | Ingen väsentlig ändring | |
| licence-gender-pair-flawed-base | 1 | Ingen väsentlig ändring | |
| licence-gender-pair-flawed-base | 2 | Ingen väsentlig ändring | |
| licence-gender-pair-flawed-base | 3 | Ingen väsentlig ändring | |
| tow-line-rule-added | 1 | Jämförs inte: varianterna får olika regler med avsikt | |
| tow-line-rule-added | 2 | Jämförs inte: varianterna får olika regler med avsikt | |
| tow-line-rule-added | 3 | Jämförs inte: varianterna får olika regler med avsikt |
18 kontrastpar jämförs inte: där ska ändringen flytta svaret, och varje sida bedöms mot sitt eget facit.
Redovisas, påverkar inte utfallet
Antal som bedömningen räknar fram för varje testfall men inte bedömer körningen efter.
| Mått | Granskare |
|---|---|
| Oväntade brister, på alla testfall | 0 |
| Ostödda styrkor | 1 |
| Styrkor för krav som dokumentet redan uppfyller | 18 |
Detaljer om körningen
- Körningar
- 66 av 66 planerade körningar genomförda och bedömda
- Typ av körning
- Intern kontrollpunkt: den sorts körning vi prövar en ändring i motorn mot. INTERNAL_GATE
- Produktion
- Körningarna körde motorns kod direkt, i en testuppställning, och inte genom tjänsten i produktion. Om tjänsten i produktion kör den här konfigurationen har inte mätts.
- Motorinställning
- Beteckningen är början på en kontrollsumma över det motorn skickar till språkmodellen och hur svaret bedöms: instruktionerna, svarsformatet och modellinställningarna. Körningar med samma beteckning testade samma konfiguration. Den är inget versionsnummer.