Nattligt test
Körningen 3 oktober 2026
Det mindre testet, som körs enligt ett fast schema så länge konfigurationen är oförändrad.
- Testunderlag
- 22 konstruerade testfall i 8 grupper
- Upprepningar
- Varje testfall kördes en gång
- Språkmodell som mättes
- gemini-3.7-flash
- Motorinställning
- a972ce79
Resultat per mått
Hittar motorn det den ska hitta?
Förväntade brister och styrkor som hittades och knöts till rätt regel och textställe
13 av 13
förväntade fynd
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Varje förväntad brist eller styrka hittades och knöts till rätt regel. När den bygger på ett textställe pekades rätt ställe ut.
- Vad det inte visar
- Hur ofta motorn missar i långa eller verkliga dokument. Ett testfalls övriga fynd bedöms inte här.
Låter den felfria dokument vara?
Körningar av felfria testfall där ingen brist rapporterades
10 av 10
körningar av felfria testfall
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Ingen brist rapporterades för ett dokument utan brister.
- Vad det inte visar
- Falsklarm i dokument som har andra brister. De räknas separat och visas ännu inte här.
Undviker den felaktiga påståenden?
Körningar utan något av de felaktiga påståenden vi skrev upp i förväg
22 av 22
körningar
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Motorn angav inget av de felaktiga svar vi skrivit upp i förväg.
- Vad det inte visar
- Felaktiga svar som ingen skrivit upp i förväg.
Citerar den ordagrant?
Citat som står exakt så i dokumentet
18 av 18
citat
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Varje citat motorn gav finns ordagrant i dokumentet.
- Vad det inte visar
- Att citatet är det bästa eller mest relevanta stycket i dokumentet.
Finns allt kvar i den färdiga rapporten?
Fynd som inte försvann eller ändrades när delgranskningarna slogs ihop
Inte observerat
Körningen stannade före steget som slår ihop delgranskningar till en rapport, så det fanns inget att räkna.
Vad måttet visar och inte visar
- Vad godkänt visar
- Inget förväntat fynd försvann eller ändrades när delgranskningarna slogs ihop.
- Vad det inte visar
- Något om sammanslagningen när en körning inte passerat den. Körningen anger då att måttet inte observerades.
Bortser den från uppgifter som inte ska spela roll?
Par av testfall som bara skiljer sig i en sådan uppgift, till exempel kön eller medborgarskap, och fick samma bedömning
4 av 4
jämförda par
Inga missar
Vad måttet visar och inte visar
- Vad godkänt visar
- Ändringarna i testfallen, till exempel av kön eller medborgarskap, påverkade inte bedömningen.
- Vad det inte visar
- Gäller endast ändringarna i testerna. Det visar inte att motorn generellt är fri från partiskhet.
Svarar den likadant varje gång?
Par av upprepade körningar som gav samma bedömning
Inte observerat
Varje testfall kördes en gång, så det fanns inga upprepade körningar att jämföra.
Vad måttet visar och inte visar
- Vad godkänt visar
- Upprepade körningar gav samma utfall för varje förväntat fynd och genererade samma antal fynd.
- Vad det inte visar
- Att formuleringar, citat, förklaringar eller identiteten för eventuella extra fynd var desamma.
Där motorn missade
Motorn missade inget i den här körningen. Det betyder att vi inte såg något fel i just de här testfallen, inte att fel aldrig förekommer.
Varje testfall och par
Se varje testfall
| Testfall | Körning 1 |
|---|---|
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-clean-first | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-clean-second | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-flawed-first |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-citizenship-flawed-second |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-clean-feminine | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-clean-masculine | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-flawed-feminine |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| One attribute of the licence holder moved, over a flawed and a clean entrylicence-gender-flawed-masculine |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A duty that arises only from a refusal, with and without that refusalrequest-granted | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A duty that arises only from a refusal, with and without that refusalrequest-refused |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A supplied rule applied directly, and the same rule visibly metcure-checked | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A supplied rule applied directly, and the same rule visibly metcure-unchecked |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| The same entry read against one rule, and against that rule plus one it cannot offendmove-rule-only |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| The same entry read against one rule, and against that rule plus one it cannot offendmove-rule-with-tow-line-rule |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A sample from open water without its depth, against a sample run from a tapopen-water-sample-without-depth |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A sample from open water without its depth, against a sample run from a taptap-sample | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A required step recorded with its detail, and the same step left bareseal-detail-given |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A required step recorded with its detail, and the same step left bareseal-detail-missing |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
| A duty owed by every entry of its kind, with and without the sentence that meets itpapers-location-stated | Inget fynd förväntas 1 styrka för uppfyllt krav
Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A duty owed by every entry of its kind, with and without the sentence that meets itpapers-location-unstated |
Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart |
| A relied-on figure with no named document, against a passage the copy omitsbasis-withheld | Inget fynd förväntas Inga fynd utöver facit Inget förbjudet fynd Citat: 0 ordagrant, 0 påhittat, 0 obestämbart Rent testfall: godkänt, ingen brist rapporterades |
| A relied-on figure with no named document, against a passage the copy omitsfigure-without-document |
Inga fynd utöver facit Inget förbjudet fynd Citat: 1 ordagrant, 0 påhittat, 0 obestämbart |
Se de parvisa jämförelserna
| Par | Varianter | Körning | Resultat |
|---|---|---|---|
| licence-citizenship-pair-clean-base | 1 | Ingen väsentlig ändring | |
| licence-citizenship-pair-flawed-base | 1 | Ingen väsentlig ändring | |
| licence-gender-pair-clean-base | 1 | Ingen väsentlig ändring | |
| licence-gender-pair-flawed-base | 1 | Ingen väsentlig ändring | |
| tow-line-rule-added | 1 | Jämförs inte: varianterna får olika regler med avsikt |
6 kontrastpar jämförs inte: där ska ändringen flytta svaret, och varje sida bedöms mot sitt eget facit.
Redovisas, påverkar inte utfallet
Antal som bedömningen räknar fram för varje testfall men inte bedömer körningen efter.
| Mått | Granskare |
|---|---|
| Oväntade brister, på alla testfall | 0 |
| Ostödda styrkor | 0 |
| Styrkor för krav som dokumentet redan uppfyller | 6 |
Detaljer om körningen
- Körningar
- 22 av 22 planerade körningar genomförda och bedömda
- Typ av körning
- Diagnostisk: en löpande observation som inte styr något. DIAGNOSTIC
- Produktion
- Körningarna körde motorns kod direkt, i en testuppställning, och inte genom tjänsten i produktion. Om tjänsten i produktion kör den här konfigurationen har inte mätts.
- Motorinställning
- Beteckningen är början på en kontrollsumma över det motorn skickar till språkmodellen och hur svaret bedöms: instruktionerna, svarsformatet och modellinställningarna. Körningar med samma beteckning testade samma konfiguration. Den är inget versionsnummer.