Motorns kvalitet · Metod
Så poängsätts testerna
Varje siffra på kvalitetssidan räknar godkända observationer av gjorda observationer. Den här sidan säger vad en observation är för varje mått, vad som gör att den godkänns eller underkänns och hur ett fynd matchas mot facit. Därefter följer underlaget bakom siffrorna och varje ändring av testerna.
De sju måtten
Varje mått räknas för sig. Det finns ingen sammanvägd poäng och ingen viktning mellan måtten, och ett mått utan något att räkna säger det i stället för att visa en siffra.
Hittar det facit förväntar
GROUNDING
- En observation
- Ett förväntat fynd i facit, i ett steg av en körning. Ett facit med två förväntade fynd som körs tre gånger ger sex observationer.
- Godkänns när
- Motorn rapporterar ett fynd på det förväntade textstället, i den förväntade listan (brist eller styrka), med förväntad markering av om något saknas, och anger som primär källa en regel som facit godtar.
- Underkänns när
- Allt som inte når dit: regeln anges men textstället pekas inte ut, textstället rapporteras i motsatt lista, den primära regeln är en som facit inte godtar, eller inget rapporteras alls. En första miss markeras som obekräftad tills en omkörning bekräftar eller avskriver den.
Exempel
Anteckningen säger att en läcka är åtgärdad men inte vem som kontrollerade det. Ett fynd som anger regeln och citerar den meningen är förankrat. Ett fynd som anger regeln men citerar en annan mening hittade regeln, inte textstället, och räknas som en miss.
Öppna testfallet cure-uncheckedInga falsklarm på felfria testfall
CLEAN_CASE_FLAWS
- En observation
- Ett steg av en körning av ett felfritt fall, alltså ett fall där facit inte väntar sig någon brist.
- Godkänns när
- Motorn rapporterar ingen brist. En styrka för ett krav som dokumentet synligt uppfyller räknas inte emot den.
- Underkänns när
- Motorn rapporterar någon brist i det felfria fallet.
Exempel
Provet i den här anteckningen togs ur en kran, och dit når inte regeln om djup. Att ändå rapportera att djupet saknas är en brist i ett felfritt fall.
Öppna testfallet tap-sampleInga otillåtna utlåtanden
PROHIBITED_OUTPUT
- En observation
- Ett steg av en körning av vilket fall som helst, felfritt eller inte.
- Godkänns när
- Inget av de fynd som facit anger som förbjudna förekommer.
- Underkänns när
- Motorn ger ett förbjudet fynd, även om den också hittade det som förväntades.
Exempel
Anteckningen säger att plomberna undersöktes men anger varken deras nummer eller skick. Att berömma den meningen som en korrekt dokumenterad undersökning är det förbjudna fynd som står i fallets facit.
Öppna testfallet seal-detail-missingCitaten är ordagranna
QUOTE_FIDELITY
- En observation
- Ett citat som motorn gav, i vilket fynd som helst.
- Godkänns när
- Citatet står ordagrant i det dokument motorn fick.
- Underkänns när
- Citatet finns inte i dokumentet, eller går inte att kontrollera mot det.
Exempel
Anteckningen sätter en avgift utifrån ett tonnage utan att ange något dokument för det. Ett fynd som citerar meningen om tonnaget som den står godkänns. Ett fynd som formulerar om meningen inom citattecken underkänns, även om själva fyndet är riktigt.
Öppna testfallet figure-without-documentInget tappas i sammanställningen
REDUCER_SURVIVAL
- En observation
- Ett fynd som facit väntar sig att en granskare rapporterar innan fynden slås samman till den levererade rapporten, när en granskare rapporterade det eller sammanslagningen tog fram det på egen hand. Bara körningar som går igenom sammanslagningen mäter detta; övriga visar det som inte observerat.
- Godkänns när
- En granskare rapporterade fyndet, och den levererade rapporten matchar det fortfarande mot samma förväntade fynd, med samma typ (brist eller styrka), samma markering av om något saknas och samma regler som primär källa. Formuleringen och citatets bredd får ändras. En brist måste dessutom vara spårad till den granskarens eget fynd; en styrka bär inget sådant spår, så det räcker att den matchar i den levererade rapporten.
- Underkänns när
- Fyndet försvinner, dess typ (brist eller styrka), markering av om något saknas eller primära regler ändras, en brist tillskrivs ett annat fynd, eller fyndet dyker upp först efter sammanslagningen fast en granskare borde ha rapporterat det.
Exempel
Anteckningen säger att en ansökan avslogs utan att ange skälen. Om en granskare rapporterar att skälen saknas och den levererade rapporten inte längre innehåller det fyndet, gick det förlorat i sammanslagningen.
Öppna testfallet request-refusedOpåverkad av uppgifter som inte ska spela roll
INVARIANT_PAIRS
- En observation
- Ett jämförbart par: två versioner av ett fall som bara skiljer sig i en detalj som inte får spela roll, körda i samma upprepning med samma regler.
- Godkänns när
- De två versionerna läses likadant: samma förväntade fynd hittade och förankrade, i samma lista, med samma markering av om något saknas och samma primära regel, och samma oväntade utdata. När körningen går genom sammanslagningen måste varje förväntat fynd också klara sig likadant i den: behållet, förlorat, ändrat eller tillagt i båda.
- Underkänns när
- Något av detta skiljer sig mellan de två versionerna.
Exempel
De två versionerna av anteckningen skiljer sig bara i tilltalet för den som har licensen. Att rapportera att handläggaren saknas för det ena tilltalet men inte för det andra är en väsentlig ändring.
Öppna testfallet licence-gender-flawed-feminineSamma bedömning vid upprepning
IDENTICAL_INPUT_STABILITY
- En observation
- Ett par upprepningar av samma fall i samma steg. Tre upprepningar ger tre par; en enda körning ger inget.
- Godkänns när
- Båda upprepningarna ger varje förväntat fynd samma utfall och ger lika många brister, styrkor, oväntade fynd och förbjudna fynd. En frivillig styrka för ett krav som dokumentet uppfyller lämnas utanför jämförelsen.
- Underkänns när
- Något av dessa utfall eller antal skiljer sig, till exempel ett förväntat fynd som är förankrat i den ena upprepningen och missat i den andra. Det är antalen som jämförs, så två olika oväntade fynd, ett i varje upprepning, skiljs inte åt.
Exempel
Anteckningen säger aldrig var handlingarna förvaras, så det finns inget textställe att citera. Om en upprepning citerar en orelaterad avslutande mening för det som saknas medan de andra inte citerar något, är upprepningarna oense.
Öppna testfallet papers-location-unstated
Så matchas ett fynd mot facit
Facit skrevs innan någon körning gjordes. Ett fynd som motorn ger räknas som ett förväntat fynd bara när alla fyra av följande stämmer.
Brist eller styrka
Om fyndet rapporteras som en brist eller som en styrka.
Regel som primär källa
Den regel som fyndet anger som sin primära källa måste vara en som facit godtar. Att bara ange den som stöd räknas inte.
Markering av det som saknas
Om fyndet säger att något saknas, till skillnad från att något som står är fel.
Citat eller plats
Fyndet måste peka ut det textställe facit anger, med citat eller med plats. Ett citat får vara bredare än textstället bara om det håller sig på samma rad i dokumentet. När det förväntade fyndet är att något saknas helt finns inget textställe: fyndet matchar genom att ange en godtagen regel som primär källa och inte citera något.
Citat jämförs efter att varje följd av mellanslag, tabbar och radbrytningar slagits ihop till ett enda mellanslag. Inget annat normaliseras.
Rubriker, kategorier och fyndets egna formuleringar ingår aldrig i en matchning, så en välskriven miss är fortfarande en miss.
Varje fynd kan matcha högst ett förväntat fynd, och varje förväntat fynd högst ett fynd. Ett andra fynd på samma textställe räknas som en dubblett, inte som ett fel.
Begrepp som siffrorna använder
- Felfritt fall
- En version av ett fall där facit inte väntar sig någon brist: dokumentet uppfyller regeln, regelns villkor uppstår aldrig, regeln når inte textstället, eller kopian innehåller inte den text regeln skulle tillämpas på.
- Förbjudet fynd
- Ett bestämt felaktigt fynd som skrevs in i facit innan någon körning, oftast det som fallet är byggt för att locka fram, till exempel att berömma just den mening där något saknas.
- Par
- Två versioner av ett fall som skiljer sig i en detalj. I ett invarianspar får detaljen inte ändra resultatet, och versionerna jämförs. I ett kontrastpar är det meningen att den ska ändra resultatet, och versionerna visas men jämförs aldrig. Ett par vars versioner med avsikt fick olika regler visas men räknas inte.
- Upprepning
- Samma fall kört igen med identisk indata och utan någon ändring av motorn emellan. Ett mått räknar observationerna från varje upprepning, men upprepningar av ett fall är inte oberoende, så antalen görs aldrig om till en procentsats eller en statistisk skattning.
Vad utfallen betyder
En körning får ett utfall, och varje mått i den får ett eget resultat.
- GodkändPASS
- Varje mått som gick att observera uppfylldes. Det säger inget om ett mått som inte observerades.
- Inte godkändBLOCK
- Minst ett mått bröts. Missarna publiceras som de är, och utfallet döps aldrig om till godkänt.
- Väntar på bekräftelsePENDING_CONFIRMATION
- Ett förväntat fynd missades för första gången. Det står som obekräftat tills en omkörning antingen avskriver missen eller upprepar den, och det räknas aldrig som uppfyllt under tiden.
- Inte observeratNOT_OBSERVED
- Körningen hade inget att räkna för måttet; en enda körning har till exempel inget par av upprepningar att jämföra. Det visas utan siffra och är inget godkännande.
- AvbrutenCRASHED
- Körningen, eller omkörningen som följde på den, misslyckades innan hela förloppet var klart. Den säger inget om motorns kvalitet åt något håll, och den visas aldrig som ett resultat med siffror.
En miss stoppar inte en release av sig själv
Motorns svar varierar från körning till körning, så en uppmätt miss hålls synlig och utreds i stället för att bli ett automatiskt stopp. En release hålls tillbaka av de kontroller som ger samma svar varje gång: testsviterna, datamigreringar, säkerhet och integritet samt kostnadstak.
Underlaget bakom siffrorna
Varje fil är en post som kvalitetssidorna byggs från, exakt som den är incheckad. Kontrollsumman räknas fram från de byte som länken levererar, så en kopia kan kontrolleras mot den. Interna regelnamn, kostnader och lagringsplatser finns inte i filerna.
Publicerade resultat
Varje publicerad körning med sina sju mått, och varje testfalls resultat i varje upprepning.
Ladda ner granska-quality-results.jsonKontrollsumma (SHA-256):
2ba894dc815c5ca093712df723bed9f1f1a5a898e2892f09db11aeff8278a74bTestfall
Varje testfall: dokumentet motorn fick, reglerna och facit som det poängsattes mot.
Ladda ner granska-quality-cases.jsonKontrollsumma (SHA-256):
5e56f55b52caeda5be60aea980ee7fb7a0f5c824d3eba01c46770c7758f15cbcMotorns svar
Vad motorn svarade för varje testfall i varje upprepning: varje granskares fynd, varje citatkorrigering och den sammanslagna rapporten, så som motorn lämnade dem.
Ladda ner granska-quality-answers.jsonKontrollsumma (SHA-256):
2d549a6c0835ed52c1e7e31e1c94b728b1692e730031f91891bd322ab39f571b
Varje ändring av testerna
En daterad lista över varje ändring av vad som mäts eller hur: testsviter, poängsättning, körningsupplägg, bedömning och policy samt reglerna för publicering. Den genereras från de publicerade körningarna och en kort handskriven lista över val som gjorts om testerna, och varje versionsändring pekar på den post som förklarar den.
| Datum | Vad som ändrades | Länk |
|---|---|---|
| Körningsupplägg regression-v2-release med fingeravtryck 450b71051d07509fa3544e75d0c9bcb4e8cb42ce591f918d964d35568b0aceea, först använt i en publicerad körning. | Körningen | |
| Regler för publiceringPublic in full: every test case, its answer key and each case's result in every repetition are published. Only a future held-out set stays unpublished. | Källa | |
| Regler för publiceringFirst publication: the counts of two recorded runs appear on the quality page, measured with the scorer and report versions those runs used. | Källa | |
| Körningsupplägg regression-v2-nightly med fingeravtryck bec5b8f0e84c3c281b26bee5b73fac2a2aab2e9fca5cb6f0fe47825691d926b7, först använt i en publicerad körning. | Körningen | |
| Ändring i motorn som testasThe engine's instruction changed: a finding about a stated claim quotes that claim precisely, on its own line. The scorer and the cases did not change. | Källa | |
| MätmetodThe run record changed: every reviewer's answer goes through the engine's quote correction, each correction is recorded as a call of its own, and the reviewer stage is scored on the quotes the engine carried on. | Källa | |
| Ändring i motorn som testasThe engine's reviewers changed how they give evidence: a wholly absent step is reported without a borrowed quote, while a stated claim keeps its quote. The scorer and the cases did not change. | Källa | |
| Testsvit controlled-regression, version 1, först mätt i en publicerad körning. | Testfall | |
| Poängsättning version 6 med matchningsmetod structured-identity/whitespace-collapsed/v6, först använd i en publicerad körning. | Varför det ändrades | |
| Rapportversion 5 (körare 2, körningspost 4), först använd i en publicerad körning. | Varför det ändrades | |
| Rapportversion 5 (körare 3, körningspost 5), först använd i en publicerad körning. | Varför det ändrades | |
| Bedömning version 1 enligt policy short-case-v1, först använd i en publicerad körning. | Varför det ändrades | |
| Körningsupplägg regression-v1-engine-change med fingeravtryck 3c0bfbe6bbdd1e52ecaa859fc8a114505152ca474c495434e1e5949d63943e44, först använt i en publicerad körning. | Körningen | |
| Körningsupplägg regression-v2-engine-change med fingeravtryck 930baf9e9da00194a3b98ddb16ca6166952d1023ba5d87c87cb41fd0d8ccb117, först använt i en publicerad körning. | Körningen | |
| MätmetodThe run record changed: a call that answers without usable token counts is counted on its own and stops the run, instead of being booked as zero. | Källa | |
| TestfallRegression suite version 1 read blind: a second AI model session wrote down what each case should produce without seeing the first one's answer key, before any run was scored against it. | Källa | |
| Regler för poängsättningShort-case policy v1 approved: the seven measures are reported separately, with no combined score and no severity threshold, and a first grounding miss is rerun at once to confirm it. | Källa | |
| MätmetodThe scorer changed how a quote is matched: a quote wider than the expected passage counts when it stays on the same line, reported as a contained match rather than an exact one. | Källa |
Handskrivna poster citeras på den engelska de registrerades på, och deras länkar leder till projektets underlag på GitHub.