Imties aprėpties tyrimas
Kaip dažnai kiekviena riba aprėpia tikrąjį iškraipymą pagal imties dydį ir rastus iškraipymus generuotose populiacijose: metodas, kriterijus, rezultatai.
Aprėpties tyrimas matuoja, kaip dažnai kiekviena analizės variklio atrankos riba aprėpia tikrąjį iškraipymą. Jis sukuria populiacijas, kurių iškraipymas žinomas cento tikslumu, iš kiekvienos ištraukia po 2 000 imčių kiekvienam metodui ir imties dydžiui ir suskaičiuoja imtis, kurių riba aprėpia tikrąją vertę. 95 % viršutinė riba turėtų ją aprėpti bent 95 % imčių.
Jo rezultatai lemia, ką Blast vertina: metodas, kurio tyrimas nepriima, ribos neduoda. Šiame puslapyje aprašyta 2-oji tyrimo versija, užfiksuota 2026 m. spalio 23 d., naujausia.
Populiacijos ir iškraipymai
Penkios populiacijų šeimos, kiekviena sukurta su 2 000, 20 000 ir 200 000 elementų:
| Šeima | Populiacija |
|---|---|
| P1 | Lognormaliai pasiskirsčiusios sąskaitos faktūros (μ 7, σ 1,2, mediana apie 1 100) |
| P2 | Sunki uodega: 95 % lognormalusis su σ 1, 5 % didelių elementų (μ 9, σ 2,5) |
| P3 | Vienalytė: lognormalioji su σ 0,3 |
| P4 | P1 su 5 % kredito likučių |
| P5 | Asimetriški likučiai (σ 1,9), be didžiausių 2,3 % elementų, tarsi jie būtų tikrinami visi |
Dvylika iškraipymų modelių, įterptų į 0,2–50 % elementų:
| Modelis | Iškraipyti elementai | Kiekvieno iškraipymo dydis |
|---|---|---|
| E-uni | parinkti atsitiktinai | apskaitinės vertės dalis nuo 0 iki 1 |
| E-full | parinkti atsitiktinai | visa apskaitinė vertė |
| E-small | parinkti atsitiktinai | iki 20 % apskaitinės vertės |
| E-size | parinkti proporcingai sumai | nuo 0 iki 1 |
| E-inv | parinkti atvirkščiai proporcingai sumai | nuo 0 iki 1 |
| E-mixed | parinkti atsitiktinai | 80 % pervertinimų, 20 % nuvertinimų iki pusės apskaitinės vertės |
| E-over1 | parinkti atsitiktinai | 10 % jų didesni už apskaitinę vertę (tik kintamųjų įvertiniai) |
| E-strat-high | visi aukščiausiame sluoksnyje | nuo 0 iki 1 (tik sluoksniuoti planai) |
| E-strat-low | visi žemiausiame sluoksnyje | nuo 0 iki 1 (tik sluoksniuoti planai) |
| E-ar | parinkti atsitiktinai | tik pervertinimai: dažniausiai visa suma mažuose elementuose, mažos dalys dideliuose |
| E-bal | parinkti atsitiktinai | maži iškraipymai, po lygiai kiekviena kryptimi |
| E-under | parinkti atsitiktinai | dvigubai daugiau nuvertinimų nei pervertinimų, kai kurie didesni už apskaitinę vertę |
Šeima yra viena populiacija su vienu modeliu, pavyzdžiui, P2 su E-full.
Metodai ir dydžiai
Imties dydžiai 30, 50, 75, 100, 150, 200, 300, 500 ir 1 000, kai pasikliovimo lygis 95 %, vienpusiškai:
Stringer riba su Puasono ir su binominiais koeficientais, pastovaus intervalo atrankose;
riba pagal ląsteles, atrankose pagal ląsteles;
klasikinis PPS, abiejose atrankose;
vidurkio vienetui, skirtumo, santykio ir regresijos įvertiniai;
požymių ribos, binominė ir hipergeometrinė.
Piniginių vienetų ir kintamųjų metodai matuojami ir sluoksniuoti, su 3 ir 5 sluoksniais, P1, P2, P4 ir P5 šeimose.
Kriterijus
Kiekvienam metodui, imties dydžiui n ir rastų iškraipymų skaičiui m tyrimas suskaičiuoja kiekvienos šeimos imtis. Jis grupuoja m į klases: 0, 1, 2, 3, 4, 5, 6–7, 8–10, 11–15, 16–20, 21–30, 31–50 ir daugiau nei 50.
Šeima vertina langelį, kai jame yra bent 1 000 imčių su riba.
Ji priima langelį, kai riba aprėpia tikrąją vertę bent 95,0 % jų, o šios aprėpties vienpusė 95 % Clopper-Pearson apatinė riba yra bent 94,0 %.
Langelis patenka į taikymo sritį, kai jį vertina bent 3 šeimos ir nė viena jo neatmeta.
Stringer, ląstelių ir požymių ribos vertinamos iš karto visiems m, pagal šeimą ir n, ir turi būti priimtos visur. Jų langeliai pagal m skelbiami, bet nėra sąlyga. Sujungus populiacijas su skirtingais iškraipymų dažniais, imtis, kurioje rasta mažai iškraipymų, dažniausiai kyla iš ištraukimų, kurie jų nepataikė, o ten riba per žema. Todėl nė viena tokio tipo riba nepraeina kriterijaus langelis po langelio pagal m.
Rezultatai
Metodas: Stringer riba, Puasono koeficientai · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,7 % · Taikymo sritis: nereikalinga
Metodas: Stringer riba, binominiai koeficientai · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,0 % · Taikymo sritis: nereikalinga
Metodas: Riba pagal ląsteles · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,7 % · Taikymo sritis: nereikalinga
Metodas: Stringer riba, sluoksniuota · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 99,9 % · Taikymo sritis: nereikalinga
Metodas: Riba pagal ląsteles, sluoksniuota · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 99,7 % · Taikymo sritis: nereikalinga
Metodas: Požymių riba, binominė · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,3 % · Taikymo sritis: nereikalinga
Metodas: Požymių riba, hipergeometrinė · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 96,3 % · Taikymo sritis: nereikalinga
Metodas: Klasikinis PPS · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 17,5 %, kai n = 30, 63,0 %, kai n = 1 000 · Taikymo sritis: tuščia
Metodas: Klasikinis PPS, sluoksniuotas · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 31,8 %, kai n = 30, 65,3 %, kai n = 1 000 · Taikymo sritis: tuščia
Metodas: Vidurkis vienetui, skirtumas, santykis, regresija · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: nuo 15,1 % iki 20,5 %, kai n = 30 · Taikymo sritis: tuščia
Pagal m 20 iš 114 Stringer ribos su Puasono koeficientais langelių ir 25 iš 114 ribos pagal ląsteles langelių bent vienoje šeimoje nukrenta žemiau kriterijaus. Žemiausias yra 86,1 %, Stringer ribai, kai n = 1 000 ir rastas vienas iškraipymas (P5 su E-full).
Stringer riba ir riba pagal ląsteles yra atsargios. Vidutiniškai Stringer riba su Puasono koeficientais yra 2,82 karto didesnė už tikrąjį pervertinimą, kai n = 30, 1,68 karto, kai n = 100, ir 1,13 karto, kai n = 1 000. Riba pagal ląsteles yra 2,66, 1,60 ir 1,11 karto didesnė.
Kai klasikinio PPS imtis neranda iškraipymų, jos riba yra tik žinomas iškraipymas, todėl ji niekada neaprėpia populiacijos, kurioje iškraipymų yra. Jos silpnoji pusė yra pervertinimų viršutinė riba. Skirtumo, santykio ir regresijos ribos lygios 0, kai iškraipymų nerasta. Vidurkio vienetui riba asimetriškose populiacijose nepakankama: kai n = 1 000, jos apatinė riba P3 šeimoje aprėpia 94,5–95,0 % imčių, o P2 šeimoje 63–65 %.
Palyginimas su Financial Audit Manual
GAO ir CIGIE Financial Audit Manual (GAO-18-601G, atnaujintas 2020 m. balandį, 480.39 skyrius ir jo 5 išnaša) nurodo, kad piniginių vienetų imtį, kurioje daug iškraipymų, paprastai reikėtų vertinti kaip klasikinio PPS imtį, kartu su audito atrankos specialistu. Išnašoje pateikta bendra taisyklė: 10 iškraipymų, kai imtyje 75–100 elementų, 10 %, kai 100–300 elementų, ir 30, kai daugiau nei 300, o klasikiniam PPS reikia bent 75 elementų. 2026 m. birželio vadovo leidimas (GAO-26-108577) išlaiko tą pačią taisyklę.
Blast skelbia griežtesnį iš tyrimo ir vadovo slenksčių. Imtys, atitinkančios vadovo taisyklę, kai kuriose šeimose vis tiek lieka žemiau kriterijaus: kai n = 1 000 ir rasta daugiau nei 50 iškraipymų, 4 iš 118 šeimų atmeta klasikinio PPS ribą. Todėl jos taikymo sritis lieka tuščia. Kintamųjų įvertiniams vadovas tokios taisyklės nepateikia, todėl jų sritį nustato tik tyrimas.
Ko tyrimas nesako
Tyrimas matuoja aprėptį aukščiau nurodytose populiacijose, kai pasikliovimo lygis 95 %. Jis nieko nesako apie populiaciją, kurios jos neaprašo. Skirtukas Imtys priima ir kitus pasikliovimo lygius, kurių tyrimas nematavo. Aprėptis pagal m sujungta per šeimos populiacijų dydžius ir iškraipymų dažnius, todėl nepalankų dydį ar dažnį gali paslėpti kiti. Trys skirtuko pasirinkimai neišmatuoti: Stringer riba atrankoje pagal ląsteles, atsitiktinių piniginių vienetų atranka ir sistemingos imtys.
Galima atsisiųsti keturis 2-osios versijos failus: planą (plan.json), kiekvieno langelio verdiktą (verdicts.csv), variklio skaitomus slenksčius (thresholds.json) ir taikymo sritį (validity.json). Neapdoroti skaičiai neskelbiami; pirmoji komanda žemiau juos įrašo iš naujo.
Tyrimo pakartojimas
Kiekviena tyrimo versija užfiksuojama su planu (populiacijos, tinklelis, kriterijus ir tyrimo pradinė reikšmė 20261023), kiekvieno langelio neapdorotais skaičiais, kiekvieno langelio verdiktu, variklio skaitomais slenksčiais ir ataskaita. Kiekviena imtis turi savo pradinę reikšmę, išvestą iš tyrimo pradinės reikšmės, o skaičiavimai naudoja tik sveikųjų skaičių aritmetiką, todėl bet kuris kompiuteris įrašo tuos pačius skaičius. 2-osios versijos kampanija truko apie 2 valandas 20 minučių 14 branduolių kompiuteryje.
Iš analizės variklio šaltinio aplanko:
cargo run --locked --release --example sampling_coverage -- \ --plan ../../../../docs/quality/sampling-coverage/v2/plan.json \ --out target/sampling-coverage-v2 cargo run --locked --release --example sampling_coverage -- \ --derive target/sampling-coverage-v2 --validity stats/validity/v2.json \ --artefact ../../../../docs/quality/sampling-coverage/v2
Pirmoji komanda paleidžia kampaniją. Antroji iš jos skaičių išveda verdiktus, slenksčius ir ataskaitą.
Nauja vertinimo ar ištraukimo metodo versija sukelia variklio testų nesėkmę, kol su ja neužfiksuojama nauja tyrimo versija. Ankstesnės versijos išsaugomos, todėl vertinimas, užfiksuotas pagal ankstesnę versiją, pakartojamas taip pat.