Die Abdeckungsstudie der Stichproben
Wie oft jede Fehlergrenze den tatsächlichen Fehler abdeckt, nach Umfang und gefundenen Fehlern, auf erzeugten Grundgesamtheiten: Methode und Ergebnisse.
Die Abdeckungsstudie misst, wie oft jede Fehlergrenze der Analyse-Engine den tatsächlichen Fehler abdeckt. Sie erzeugt Grundgesamtheiten, deren Fehler auf den Cent bekannt ist, zieht aus jeder 2.000 Stichproben für jedes Verfahren und jeden Stichprobenumfang und zählt die Stichproben, deren Grenze den wahren Wert abdeckt. Eine obere Grenze zu 95 % sollte ihn in mindestens 95 % der Stichproben abdecken.
Ihre Ergebnisse bestimmen, was Blast auswertet: Ein Verfahren, das die Studie nicht annimmt, liefert keine Grenze. Diese Seite beschreibt Version 2 der Studie, festgeschrieben am 23. Oktober 2026, die neueste Version.
Grundgesamtheiten und Fehler
Fünf Familien von Grundgesamtheiten, jede mit 2.000, 20.000 und 200.000 Elementen erzeugt:
| Familie | Grundgesamtheit |
|---|---|
| P1 | Log-normalverteilte Rechnungen (μ 7, σ 1,2, Median etwa 1.100) |
| P2 | Schwerer Rand: 95 % log-normal mit σ 1, 5 % große Elemente (μ 9, σ 2,5) |
| P3 | Homogen: log-normal mit σ 0,3 |
| P4 | P1 mit 5 % Habensalden |
| P5 | Schiefe Salden (σ 1,9), ohne die größten 2,3 % der Elemente, als würden diese vollständig geprüft |
Zwölf Fehlermuster, in 0,2 % bis 50 % der Elemente gesetzt:
| Muster | Fehlerhafte Elemente | Größe jedes Fehlers |
|---|---|---|
| E-uni | zufällig gewählt | ein Anteil des Buchwerts zwischen 0 und 1 |
| E-full | zufällig gewählt | der gesamte Buchwert |
| E-small | zufällig gewählt | bis zu 20 % des Buchwerts |
| E-size | im Verhältnis zum Betrag gewählt | zwischen 0 und 1 |
| E-inv | im umgekehrten Verhältnis zum Betrag gewählt | zwischen 0 und 1 |
| E-mixed | zufällig gewählt | 80 % Überbewertungen, 20 % Unterbewertungen bis zur Hälfte des Buchwerts |
| E-over1 | zufällig gewählt | 10 % davon größer als der Buchwert (nur Variablenschätzer) |
| E-strat-high | alle in der höchsten Schicht | zwischen 0 und 1 (nur geschichtete Pläne) |
| E-strat-low | alle in der niedrigsten Schicht | zwischen 0 und 1 (nur geschichtete Pläne) |
| E-ar | zufällig gewählt | nur Überbewertungen: meist der ganze Betrag bei kleinen Elementen, kleine Anteile bei großen |
| E-bal | zufällig gewählt | kleine Fehler, gleich viele in jeder Richtung |
| E-under | zufällig gewählt | doppelt so viele Unter- wie Überbewertungen, einige größer als der Buchwert |
Eine Familie ist eine Grundgesamtheit mit einem Muster, etwa P2 mit E-full.
Verfahren und Umfänge
Stichprobenumfänge 30, 50, 75, 100, 150, 200, 300, 500 und 1.000, bei 95 % Konfidenz, einseitig:
die Stringer-Grenze mit Poisson-Faktoren und mit Binomialfaktoren, auf Auswahlen mit festem Intervall;
die Zellengrenze, auf Auswahlen nach Zellen;
klassisches PPS, auf beiden Auswahlen;
die Schätzer Mittelwert je Element, Differenz, Verhältnis und Regression;
die Attributgrenzen, binomial und hypergeometrisch.
Die Geldeinheiten- und Variablenverfahren werden auch geschichtet gemessen, mit 3 und 5 Schichten, auf P1, P2, P4 und P5.
Kriterium
Für jedes Verfahren, jeden Stichprobenumfang n und jede Zahl gefundener Fehler m zählt die Studie die Stichproben jeder Familie. Sie fasst m in Klassen zusammen: 0, 1, 2, 3, 4, 5, 6–7, 8–10, 11–15, 16–20, 21–30, 31–50 und über 50.
Eine Familie beurteilt eine Zelle, wenn die Zelle mindestens 1.000 Stichproben mit einer Grenze enthält.
Sie nimmt die Zelle an, wenn die Grenze den wahren Wert in mindestens 95,0 % davon abdeckt und die einseitige untere Clopper-Pearson-Grenze dieser Abdeckung zu 95 % mindestens 94,0 % beträgt.
Eine Zelle liegt im Gültigkeitsbereich, wenn mindestens 3 Familien sie beurteilen und keine sie ablehnt.
Stringer-, Zellen- und Attributgrenzen werden über alle m zugleich beurteilt, je Familie und n, und müssen überall angenommen werden. Ihre Zellen nach m werden veröffentlicht, sind aber keine Bedingung. Werden Grundgesamtheiten mit verschiedenen Fehlerraten zusammengefasst, stammt eine Stichprobe mit wenigen gefundenen Fehlern meist aus Ziehungen, die die Fehler verfehlt haben, und dort ist die Grenze zu niedrig. Deshalb besteht keine Grenze dieser Art Zelle für Zelle nach m.
Ergebnisse
Verfahren: Stringer-Grenze, Poisson-Faktoren · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,7 % · Gültigkeitsbereich: nicht nötig
Verfahren: Stringer-Grenze, Binomialfaktoren · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,0 % · Gültigkeitsbereich: nicht nötig
Verfahren: Zellengrenze · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,7 % · Gültigkeitsbereich: nicht nötig
Verfahren: Stringer-Grenze, geschichtet · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 99,9 % · Gültigkeitsbereich: nicht nötig
Verfahren: Zellengrenze, geschichtet · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 99,7 % · Gültigkeitsbereich: nicht nötig
Verfahren: Attributgrenze, binomial · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,3 % · Gültigkeitsbereich: nicht nötig
Verfahren: Attributgrenze, hypergeometrisch · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 96,3 % · Gültigkeitsbereich: nicht nötig
Verfahren: Klassisches PPS · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 17,5 % bei n = 30, 63,0 % bei n = 1.000 · Gültigkeitsbereich: leer
Verfahren: Klassisches PPS, geschichtet · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 31,8 % bei n = 30, 65,3 % bei n = 1.000 · Gültigkeitsbereich: leer
Verfahren: Mittelwert je Element, Differenz, Verhältnis, Regression · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: zwischen 15,1 % und 20,5 % bei n = 30 · Gültigkeitsbereich: leer
Nach m liegen 20 der 114 Zellen der Stringer-Grenze mit Poisson-Faktoren und 25 der 114 Zellen der Zellengrenze in mindestens einer Familie unter dem Kriterium. Die niedrigste liegt bei 86,1 %, für die Stringer-Grenze bei n = 1.000, wenn ein Fehler gefunden wird (P5 mit E-full).
Stringer- und Zellengrenze sind vorsichtig. Im Mittel beträgt die Stringer-Grenze mit Poisson-Faktoren das 2,82-Fache der tatsächlichen Überbewertung bei n = 30, das 1,68-Fache bei n = 100 und das 1,13-Fache bei n = 1.000. Die Zellengrenze beträgt das 2,66-, 1,60- und 1,11-Fache.
Findet eine klassische PPS-Stichprobe keinen Fehler, besteht ihre Grenze nur aus dem bekannten Fehler: Sie deckt also nie eine Grundgesamtheit ab, die einen Fehler enthält. Ihre schwache Seite ist die obere Grenze der Überbewertungen. Die Grenzen von Differenz, Verhältnis und Regression sind 0, wenn kein Fehler gefunden wird. Die Grenze des Mittelwerts je Element reicht bei schiefen Grundgesamtheiten nicht aus: Bei n = 1.000 deckt ihre untere Grenze auf P3 94,5 % bis 95,0 % der Stichproben ab, auf P2 63 % bis 65 %.
Vergleich mit dem Financial Audit Manual
Das Financial Audit Manual von GAO und CIGIE (GAO-18-601G, aktualisiert im April 2020, Abschnitt 480.39 und Fußnote 5) sagt, dass eine Geldeinheiten-Stichprobe mit einer großen Zahl von Fehlern in der Regel als klassische PPS-Stichprobe ausgewertet werden sollte, gemeinsam mit einem Spezialisten für Prüfungsstichproben. Die Fußnote nennt die allgemeine Regel: 10 Fehler bei einem Umfang von 75 bis 100 Elementen, 10 % bei 100 bis 300 Elementen und 30 über 300, mit mindestens 75 Elementen für klassisches PPS. Die Ausgabe des Handbuchs vom Juni 2026 (GAO-26-108577) behält dieselbe Regel.
Blast veröffentlicht den strengeren Wert aus Studie und Handbuch. Stichproben, die die Regel des Handbuchs erfüllen, bleiben in einigen Familien unter dem Kriterium: Bei n = 1.000 und mehr als 50 gefundenen Fehlern lehnen 4 von 118 Familien die klassische PPS-Grenze ab. Ihr Gültigkeitsbereich bleibt daher leer. Für die Variablenschätzer nennt das Handbuch keine solche Regel; deren Bereich legt allein die Studie fest.
Was die Studie nicht aussagt
Die Studie misst die Abdeckung auf den oben genannten Grundgesamtheiten, bei 95 % Konfidenz. Über eine Grundgesamtheit, die sie nicht beschreiben, sagt sie nichts. Die Registerkarte Stichproben akzeptiert andere Konfidenzniveaus, die die Studie nicht gemessen hat. Die Abdeckung nach m ist über die Umfänge der Grundgesamtheiten und die Fehlerraten einer Familie zusammengefasst, sodass ein ungünstiger Umfang oder eine ungünstige Rate von den anderen verdeckt werden kann. Drei Wahlmöglichkeiten der Registerkarte sind nicht gemessen: die Stringer-Grenze auf einer Auswahl nach Zellen, die Auswahl zufälliger Geldeinheiten und systematische Stichproben.
Vier Dateien der Version 2 lassen sich herunterladen: der Plan (plan.json), das Urteil jeder Zelle (verdicts.csv), die Schwellen, die die Engine liest (thresholds.json), und der Gültigkeitsbereich (validity.json). Die Rohzählungen sind nicht veröffentlicht; der erste Befehl unten schreibt sie neu.
Die Studie wiederholen
Jede Version der Studie wird mit ihrem Plan (Grundgesamtheiten, Raster, Kriterium und Seed der Studie, 20261023), den Rohzählungen jeder Zelle, dem Urteil jeder Zelle, den Schwellen, die die Engine liest, und einem Bericht festgeschrieben. Jede Stichprobe hat ihren eigenen, aus dem Seed der Studie abgeleiteten Seed, und die Zählungen verwenden nur Ganzzahlarithmetik: Jeder Rechner schreibt dieselben Zählungen. Die Kampagne der Version 2 dauerte etwa 2 Stunden 20 Minuten auf einem Rechner mit 14 Kernen.
Aus dem Quellordner der Analyse-Engine:
cargo run --locked --release --example sampling_coverage -- \ --plan ../../../../docs/quality/sampling-coverage/v2/plan.json \ --out target/sampling-coverage-v2 cargo run --locked --release --example sampling_coverage -- \ --derive target/sampling-coverage-v2 --validity stats/validity/v2.json \ --artefact ../../../../docs/quality/sampling-coverage/v2
Der erste Befehl führt die Kampagne aus. Der zweite leitet aus ihren Zählungen die Urteile, die Schwellen und den Bericht ab.
Eine neue Version eines Auswertungs- oder Ziehungsverfahrens lässt die Tests der Engine scheitern, bis eine neue Version der Studie mit ihr festgeschrieben ist. Frühere Versionen bleiben erhalten, sodass eine unter einer früheren Version erfasste Auswertung gleich wiederholt wird.