Badanie pokrycia granic próby
Jak często każda granica obejmuje rzeczywiste zniekształcenie, według liczebności próby i znalezionych zniekształceń: metoda, kryterium, wyniki.
Badanie pokrycia mierzy, jak często każda granica próby obliczana przez silnik analityczny obejmuje rzeczywiste zniekształcenie. Tworzy populacje, których zniekształcenie jest znane co do grosza, losuje z każdej 2000 prób dla każdej metody i wielkości próby i liczy próby, których granica obejmuje prawdziwą wartość. Górna granica przy 95 % powinna ją obejmować w co najmniej 95 % prób.
Jego wyniki decydują, co Blast ocenia: metoda, której badanie nie przyjmuje, nie daje granicy. Ta strona opisuje wersję 2 badania, zamrożoną 23 października 2026 r., najnowszą.
Populacje i zniekształcenia
Pięć rodzin populacji, każda zbudowana z 2000, 20 000 i 200 000 pozycji:
| Rodzina | Populacja |
|---|---|
| P1 | Faktury o rozkładzie logarytmiczno-normalnym (μ 7, σ 1,2, mediana około 1100) |
| P2 | Gruby ogon: 95 % logarytmiczno-normalny z σ 1, 5 % dużych pozycji (μ 9, σ 2,5) |
| P3 | Jednorodna: logarytmiczno-normalna z σ 0,3 |
| P4 | P1 z 5 % sald kredytowych |
| P5 | Salda skośne (σ 1,9), bez 2,3 % największych pozycji, jakby badano je w całości |
Dwanaście wzorców zniekształceń, umieszczonych w 0,2 % do 50 % pozycji:
| Wzorzec | Pozycje zniekształcone | Wielkość każdego zniekształcenia |
|---|---|---|
| E-uni | wybrane losowo | część wartości księgowej między 0 a 1 |
| E-full | wybrane losowo | cała wartość księgowa |
| E-small | wybrane losowo | do 20 % wartości księgowej |
| E-size | wybrane proporcjonalnie do kwoty | między 0 a 1 |
| E-inv | wybrane odwrotnie proporcjonalnie do kwoty | między 0 a 1 |
| E-mixed | wybrane losowo | 80 % zawyżeń, 20 % zaniżeń do połowy wartości księgowej |
| E-over1 | wybrane losowo | 10 % z nich większych niż wartość księgowa (tylko estymatory zmiennych) |
| E-strat-high | wszystkie w najwyższej warstwie | między 0 a 1 (tylko plany warstwowe) |
| E-strat-low | wszystkie w najniższej warstwie | między 0 a 1 (tylko plany warstwowe) |
| E-ar | wybrane losowo | tylko zawyżenia: głównie cała kwota przy małych pozycjach, małe części przy dużych |
| E-bal | wybrane losowo | małe zniekształcenia, tyle samo w każdym kierunku |
| E-under | wybrane losowo | dwa razy więcej zaniżeń niż zawyżeń, niektóre większe niż wartość księgowa |
Rodzina to jedna populacja z jednym wzorcem, na przykład P2 z E-full.
Metody i wielkości
Wielkości próby 30, 50, 75, 100, 150, 200, 300, 500 i 1000, przy poziomie ufności 95 %, jednostronnie:
granica Stringera ze współczynnikami Poissona i ze współczynnikami dwumianowymi, przy doborze ze stałym interwałem;
granica według komórek, przy doborze według komórek;
klasyczne PPS, przy obu sposobach doboru;
estymatory średniej na jednostkę, różnicy, ilorazu i regresji;
granice dla atrybutów, dwumianowa i hipergeometryczna.
Metody jednostek pieniężnych i zmiennych są też mierzone w wersji warstwowej, z 3 i 5 warstwami, na P1, P2, P4 i P5.
Kryterium
Dla każdej metody, wielkości próby n i liczby znalezionych zniekształceń m badanie liczy próby każdej rodziny. Grupuje m w klasy: 0, 1, 2, 3, 4, 5, 6–7, 8–10, 11–15, 16–20, 21–30, 31–50 i powyżej 50.
Rodzina ocenia komórkę, gdy komórka zawiera co najmniej 1000 prób z granicą.
Przyjmuje komórkę, gdy granica obejmuje prawdziwą wartość w co najmniej 95,0 % z nich, a jednostronna dolna granica Cloppera-Pearsona tego pokrycia przy 95 % wynosi co najmniej 94,0 %.
Komórka należy do zakresu ważności, gdy oceniają ją co najmniej 3 rodziny i żadna jej nie odrzuca.
Granice Stringera, według komórek i dla atrybutów są oceniane dla wszystkich m naraz, według rodziny i n, i muszą być przyjęte wszędzie. Ich komórki według m są publikowane, ale nie są warunkiem. Gdy łączy się populacje o różnych wskaźnikach zniekształceń, próba z niewieloma znalezionymi zniekształceniami pochodzi głównie z losowań, które je ominęły, a tam granica jest za niska. Dlatego żadna granica tego rodzaju nie przechodzi kryterium komórka po komórce według m.
Wyniki
Metoda: Granica Stringera, współczynniki Poissona · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 97,7 % · Zakres ważności: niepotrzebny
Metoda: Granica Stringera, współczynniki dwumianowe · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 97,0 % · Zakres ważności: niepotrzebny
Metoda: Granica według komórek · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 97,7 % · Zakres ważności: niepotrzebny
Metoda: Granica Stringera, warstwowa · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 99,9 % · Zakres ważności: niepotrzebny
Metoda: Granica według komórek, warstwowa · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 99,7 % · Zakres ważności: niepotrzebny
Metoda: Granica dla atrybutów, dwumianowa · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 97,3 % · Zakres ważności: niepotrzebny
Metoda: Granica dla atrybutów, hipergeometryczna · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 96,3 % · Zakres ważności: niepotrzebny
Metoda: Klasyczne PPS · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 17,5 % przy n = 30, 63,0 % przy n = 1000 · Zakres ważności: pusty
Metoda: Klasyczne PPS, warstwowe · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: 31,8 % przy n = 30, 65,3 % przy n = 1000 · Zakres ważności: pusty
Metoda: Średnia na jednostkę, różnica, iloraz, regresja · Najniższe pokrycie, wszystkie m, dowolna rodzina i wielkość: od 15,1 % do 20,5 % przy n = 30 · Zakres ważności: pusty
Według m 20 ze 114 komórek granicy Stringera ze współczynnikami Poissona i 25 ze 114 komórek granicy według komórek spada poniżej kryterium w co najmniej jednej rodzinie. Najniższa wynosi 86,1 %, dla granicy Stringera przy n = 1000, gdy znaleziono jedno zniekształcenie (P5 z E-full).
Granice Stringera i według komórek są ostrożne. Średnio granica Stringera ze współczynnikami Poissona wynosi 2,82 rzeczywistego zawyżenia przy n = 30, 1,68 przy n = 100 i 1,13 przy n = 1000. Granica według komórek wynosi 2,66, 1,60 i 1,11.
Gdy klasyczna próba PPS nie znajduje zniekształceń, jej granica to tylko znane zniekształcenie, więc nigdy nie obejmuje populacji, która je zawiera. Jej słabą stroną jest górna granica zawyżeń. Granice różnicy, ilorazu i regresji wynoszą 0, gdy nie znaleziono zniekształceń. Granica średniej na jednostkę nie wystarcza przy populacjach skośnych: przy n = 1000 jej dolna granica obejmuje od 94,5 % do 95,0 % prób na P3 i od 63 % do 65 % na P2.
Porównanie z Financial Audit Manual
Financial Audit Manual GAO i CIGIE (GAO-18-601G, aktualizacja z kwietnia 2020 r., punkt 480.39 i przypis 5) mówi, że próbę jednostek pieniężnych z dużą liczbą zniekształceń należy zasadniczo ocenić jak klasyczną próbę PPS, wspólnie ze specjalistą od próbkowania w badaniu. Przypis podaje ogólną zasadę: 10 zniekształceń dla próby od 75 do 100 pozycji, 10 % od 100 do 300 pozycji i 30 powyżej 300, przy co najmniej 75 pozycjach dla klasycznego PPS. Wydanie podręcznika z czerwca 2026 r. (GAO-26-108577) zachowuje tę samą zasadę.
Blast publikuje surowszy z progów badania i podręcznika. Próby spełniające zasadę podręcznika nadal spadają poniżej kryterium w niektórych rodzinach: przy n = 1000 i ponad 50 znalezionych zniekształceniach 4 ze 118 rodzin odrzucają klasyczną granicę PPS. Jej zakres pozostaje więc pusty. Podręcznik nie podaje takiej zasady dla estymatorów zmiennych, więc ich zakres ustala samo badanie.
Czego badanie nie mówi
Badanie mierzy pokrycie na powyższych populacjach, przy poziomie ufności 95 %. Nie mówi nic o populacji, której nie opisują. Karta Próby przyjmuje inne poziomy ufności, których badanie nie zmierzyło. Pokrycie według m jest łączone po wielkościach populacji i wskaźnikach zniekształceń rodziny, więc niekorzystna wielkość lub wskaźnik może zostać ukryty przez pozostałe. Trzech opcji karty nie zmierzono: granicy Stringera przy doborze według komórek, doboru losowych jednostek pieniężnych i prób systematycznych.
Cztery pliki wersji 2 można pobrać: plan (plan.json), werdykt każdej komórki (verdicts.csv), progi, które czyta silnik (thresholds.json), i zakres ważności (validity.json). Surowe zliczenia nie są publikowane; pierwsze polecenie poniżej zapisuje je od nowa.
Powtórz badanie
Każda wersja badania jest zamrażana z planem (populacje, siatka, kryterium i ziarno badania, 20261023), surowymi zliczeniami każdej komórki, werdyktem każdej komórki, progami, które czyta silnik, i raportem. Każda próba ma własne ziarno wyprowadzone z ziarna badania, a zliczenia używają wyłącznie arytmetyki całkowitoliczbowej, więc każda maszyna zapisuje te same zliczenia. Kampania wersji 2 trwała około 2 godzin 20 minut na maszynie z 14 rdzeniami.
Z katalogu źródłowego silnika analitycznego:
cargo run --locked --release --example sampling_coverage -- \ --plan ../../../../docs/quality/sampling-coverage/v2/plan.json \ --out target/sampling-coverage-v2 cargo run --locked --release --example sampling_coverage -- \ --derive target/sampling-coverage-v2 --validity stats/validity/v2.json \ --artefact ../../../../docs/quality/sampling-coverage/v2
Pierwsze polecenie uruchamia kampanię. Drugie wyprowadza z jej zliczeń werdykty, progi i raport.
Nowa wersja metody oceny lub losowania powoduje niepowodzenie testów silnika, dopóki nie zostanie z nią zamrożona nowa wersja badania. Wcześniejsze wersje zostają, więc ocena zapisana w starszej wersji odtwarza się tak samo.