Funktionen

Die Abdeckungsstudie der Stichproben

Wie oft jede Fehlergrenze den tatsächlichen Fehler abdeckt, nach Umfang und gefundenen Fehlern, auf erzeugten Grundgesamtheiten: Methode und Ergebnisse.

Aktualisiert am 18. November 2026 · 8 Min. Lesezeit

Die Abdeckungsstudie misst, wie oft jede Fehlergrenze der Analyse-Engine den tatsächlichen Fehler abdeckt. Sie erzeugt Grundgesamtheiten, deren Fehler auf den Cent bekannt ist, zieht aus jeder 2.000 Stichproben für jedes Verfahren und jeden Stichprobenumfang und zählt die Stichproben, deren Grenze den wahren Wert abdeckt. Eine obere Grenze zu 95 % sollte ihn in mindestens 95 % der Stichproben abdecken.

Ihre Ergebnisse bestimmen, was Blast auswertet: Ein Verfahren, das die Studie nicht annimmt, liefert keine Grenze. Diese Seite beschreibt Version 2 der Studie, festgeschrieben am 23. Oktober 2026, die neueste Version.

Grundgesamtheiten und Fehler

Fünf Familien von Grundgesamtheiten, jede mit 2.000, 20.000 und 200.000 Elementen erzeugt:

FamilieGrundgesamtheit
P1Log-normalverteilte Rechnungen (μ 7, σ 1,2, Median etwa 1.100)
P2Schwerer Rand: 95 % log-normal mit σ 1, 5 % große Elemente (μ 9, σ 2,5)
P3Homogen: log-normal mit σ 0,3
P4P1 mit 5 % Habensalden
P5Schiefe Salden (σ 1,9), ohne die größten 2,3 % der Elemente, als würden diese vollständig geprüft

Zwölf Fehlermuster, in 0,2 % bis 50 % der Elemente gesetzt:

MusterFehlerhafte ElementeGröße jedes Fehlers
E-unizufällig gewähltein Anteil des Buchwerts zwischen 0 und 1
E-fullzufällig gewähltder gesamte Buchwert
E-smallzufällig gewähltbis zu 20 % des Buchwerts
E-sizeim Verhältnis zum Betrag gewähltzwischen 0 und 1
E-invim umgekehrten Verhältnis zum Betrag gewähltzwischen 0 und 1
E-mixedzufällig gewählt80 % Überbewertungen, 20 % Unterbewertungen bis zur Hälfte des Buchwerts
E-over1zufällig gewählt10 % davon größer als der Buchwert (nur Variablenschätzer)
E-strat-highalle in der höchsten Schichtzwischen 0 und 1 (nur geschichtete Pläne)
E-strat-lowalle in der niedrigsten Schichtzwischen 0 und 1 (nur geschichtete Pläne)
E-arzufällig gewähltnur Überbewertungen: meist der ganze Betrag bei kleinen Elementen, kleine Anteile bei großen
E-balzufällig gewähltkleine Fehler, gleich viele in jeder Richtung
E-underzufällig gewähltdoppelt so viele Unter- wie Überbewertungen, einige größer als der Buchwert

Eine Familie ist eine Grundgesamtheit mit einem Muster, etwa P2 mit E-full.

Verfahren und Umfänge

Stichprobenumfänge 30, 50, 75, 100, 150, 200, 300, 500 und 1.000, bei 95 % Konfidenz, einseitig:

die Stringer-Grenze mit Poisson-Faktoren und mit Binomialfaktoren, auf Auswahlen mit festem Intervall;

die Zellengrenze, auf Auswahlen nach Zellen;

klassisches PPS, auf beiden Auswahlen;

die Schätzer Mittelwert je Element, Differenz, Verhältnis und Regression;

die Attributgrenzen, binomial und hypergeometrisch.

Die Geldeinheiten- und Variablenverfahren werden auch geschichtet gemessen, mit 3 und 5 Schichten, auf P1, P2, P4 und P5.

Kriterium

Für jedes Verfahren, jeden Stichprobenumfang n und jede Zahl gefundener Fehler m zählt die Studie die Stichproben jeder Familie. Sie fasst m in Klassen zusammen: 0, 1, 2, 3, 4, 5, 6–7, 8–10, 11–15, 16–20, 21–30, 31–50 und über 50.

Eine Familie beurteilt eine Zelle, wenn die Zelle mindestens 1.000 Stichproben mit einer Grenze enthält.

Sie nimmt die Zelle an, wenn die Grenze den wahren Wert in mindestens 95,0 % davon abdeckt und die einseitige untere Clopper-Pearson-Grenze dieser Abdeckung zu 95 % mindestens 94,0 % beträgt.

Eine Zelle liegt im Gültigkeitsbereich, wenn mindestens 3 Familien sie beurteilen und keine sie ablehnt.

Stringer-, Zellen- und Attributgrenzen werden über alle m zugleich beurteilt, je Familie und n, und müssen überall angenommen werden. Ihre Zellen nach m werden veröffentlicht, sind aber keine Bedingung. Werden Grundgesamtheiten mit verschiedenen Fehlerraten zusammengefasst, stammt eine Stichprobe mit wenigen gefundenen Fehlern meist aus Ziehungen, die die Fehler verfehlt haben, und dort ist die Grenze zu niedrig. Deshalb besteht keine Grenze dieser Art Zelle für Zelle nach m.

Ergebnisse

Verfahren: Stringer-Grenze, Poisson-Faktoren · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,7 % · Gültigkeitsbereich: nicht nötig

Verfahren: Stringer-Grenze, Binomialfaktoren · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,0 % · Gültigkeitsbereich: nicht nötig

Verfahren: Zellengrenze · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,7 % · Gültigkeitsbereich: nicht nötig

Verfahren: Stringer-Grenze, geschichtet · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 99,9 % · Gültigkeitsbereich: nicht nötig

Verfahren: Zellengrenze, geschichtet · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 99,7 % · Gültigkeitsbereich: nicht nötig

Verfahren: Attributgrenze, binomial · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 97,3 % · Gültigkeitsbereich: nicht nötig

Verfahren: Attributgrenze, hypergeometrisch · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 96,3 % · Gültigkeitsbereich: nicht nötig

Verfahren: Klassisches PPS · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 17,5 % bei n = 30, 63,0 % bei n = 1.000 · Gültigkeitsbereich: leer

Verfahren: Klassisches PPS, geschichtet · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: 31,8 % bei n = 30, 65,3 % bei n = 1.000 · Gültigkeitsbereich: leer

Verfahren: Mittelwert je Element, Differenz, Verhältnis, Regression · Niedrigste Abdeckung über alle m, jede Familie und jeden Umfang: zwischen 15,1 % und 20,5 % bei n = 30 · Gültigkeitsbereich: leer

Nach m liegen 20 der 114 Zellen der Stringer-Grenze mit Poisson-Faktoren und 25 der 114 Zellen der Zellengrenze in mindestens einer Familie unter dem Kriterium. Die niedrigste liegt bei 86,1 %, für die Stringer-Grenze bei n = 1.000, wenn ein Fehler gefunden wird (P5 mit E-full).

Stringer- und Zellengrenze sind vorsichtig. Im Mittel beträgt die Stringer-Grenze mit Poisson-Faktoren das 2,82-Fache der tatsächlichen Überbewertung bei n = 30, das 1,68-Fache bei n = 100 und das 1,13-Fache bei n = 1.000. Die Zellengrenze beträgt das 2,66-, 1,60- und 1,11-Fache.

Findet eine klassische PPS-Stichprobe keinen Fehler, besteht ihre Grenze nur aus dem bekannten Fehler: Sie deckt also nie eine Grundgesamtheit ab, die einen Fehler enthält. Ihre schwache Seite ist die obere Grenze der Überbewertungen. Die Grenzen von Differenz, Verhältnis und Regression sind 0, wenn kein Fehler gefunden wird. Die Grenze des Mittelwerts je Element reicht bei schiefen Grundgesamtheiten nicht aus: Bei n = 1.000 deckt ihre untere Grenze auf P3 94,5 % bis 95,0 % der Stichproben ab, auf P2 63 % bis 65 %.

Vergleich mit dem Financial Audit Manual

Das Financial Audit Manual von GAO und CIGIE (GAO-18-601G, aktualisiert im April 2020, Abschnitt 480.39 und Fußnote 5) sagt, dass eine Geldeinheiten-Stichprobe mit einer großen Zahl von Fehlern in der Regel als klassische PPS-Stichprobe ausgewertet werden sollte, gemeinsam mit einem Spezialisten für Prüfungsstichproben. Die Fußnote nennt die allgemeine Regel: 10 Fehler bei einem Umfang von 75 bis 100 Elementen, 10 % bei 100 bis 300 Elementen und 30 über 300, mit mindestens 75 Elementen für klassisches PPS. Die Ausgabe des Handbuchs vom Juni 2026 (GAO-26-108577) behält dieselbe Regel.

Blast veröffentlicht den strengeren Wert aus Studie und Handbuch. Stichproben, die die Regel des Handbuchs erfüllen, bleiben in einigen Familien unter dem Kriterium: Bei n = 1.000 und mehr als 50 gefundenen Fehlern lehnen 4 von 118 Familien die klassische PPS-Grenze ab. Ihr Gültigkeitsbereich bleibt daher leer. Für die Variablenschätzer nennt das Handbuch keine solche Regel; deren Bereich legt allein die Studie fest.

Was die Studie nicht aussagt

Die Studie misst die Abdeckung auf den oben genannten Grundgesamtheiten, bei 95 % Konfidenz. Über eine Grundgesamtheit, die sie nicht beschreiben, sagt sie nichts. Die Registerkarte Stichproben akzeptiert andere Konfidenzniveaus, die die Studie nicht gemessen hat. Die Abdeckung nach m ist über die Umfänge der Grundgesamtheiten und die Fehlerraten einer Familie zusammengefasst, sodass ein ungünstiger Umfang oder eine ungünstige Rate von den anderen verdeckt werden kann. Drei Wahlmöglichkeiten der Registerkarte sind nicht gemessen: die Stringer-Grenze auf einer Auswahl nach Zellen, die Auswahl zufälliger Geldeinheiten und systematische Stichproben.

Vier Dateien der Version 2 lassen sich herunterladen: der Plan (plan.json), das Urteil jeder Zelle (verdicts.csv), die Schwellen, die die Engine liest (thresholds.json), und der Gültigkeitsbereich (validity.json). Die Rohzählungen sind nicht veröffentlicht; der erste Befehl unten schreibt sie neu.

Die Studie wiederholen

Jede Version der Studie wird mit ihrem Plan (Grundgesamtheiten, Raster, Kriterium und Seed der Studie, 20261023), den Rohzählungen jeder Zelle, dem Urteil jeder Zelle, den Schwellen, die die Engine liest, und einem Bericht festgeschrieben. Jede Stichprobe hat ihren eigenen, aus dem Seed der Studie abgeleiteten Seed, und die Zählungen verwenden nur Ganzzahlarithmetik: Jeder Rechner schreibt dieselben Zählungen. Die Kampagne der Version 2 dauerte etwa 2 Stunden 20 Minuten auf einem Rechner mit 14 Kernen.

Aus dem Quellordner der Analyse-Engine:

cargo run --locked --release --example sampling_coverage -- \ --plan ../../../../docs/quality/sampling-coverage/v2/plan.json \ --out target/sampling-coverage-v2 cargo run --locked --release --example sampling_coverage -- \ --derive target/sampling-coverage-v2 --validity stats/validity/v2.json \ --artefact ../../../../docs/quality/sampling-coverage/v2

Der erste Befehl führt die Kampagne aus. Der zweite leitet aus ihren Zählungen die Urteile, die Schwellen und den Bericht ab.

Eine neue Version eines Auswertungs- oder Ziehungsverfahrens lässt die Tests der Engine scheitern, bis eine neue Version der Studie mit ihr festgeschrieben ist. Frühere Versionen bleiben erhalten, sodass eine unter einer früheren Version erfasste Auswertung gleich wiederholt wird.