Funkcijos

Imties aprėpties tyrimas

Kaip dažnai kiekviena riba aprėpia tikrąjį iškraipymą pagal imties dydį ir rastus iškraipymus generuotose populiacijose: metodas, kriterijus, rezultatai.

Atnaujinta 2026 m. lapkričio 18 d. · 7 min skaitymo

Aprėpties tyrimas matuoja, kaip dažnai kiekviena analizės variklio atrankos riba aprėpia tikrąjį iškraipymą. Jis sukuria populiacijas, kurių iškraipymas žinomas cento tikslumu, iš kiekvienos ištraukia po 2 000 imčių kiekvienam metodui ir imties dydžiui ir suskaičiuoja imtis, kurių riba aprėpia tikrąją vertę. 95 % viršutinė riba turėtų ją aprėpti bent 95 % imčių.

Jo rezultatai lemia, ką Blast vertina: metodas, kurio tyrimas nepriima, ribos neduoda. Šiame puslapyje aprašyta 2-oji tyrimo versija, užfiksuota 2026 m. spalio 23 d., naujausia.

Populiacijos ir iškraipymai

Penkios populiacijų šeimos, kiekviena sukurta su 2 000, 20 000 ir 200 000 elementų:

ŠeimaPopuliacija
P1Lognormaliai pasiskirsčiusios sąskaitos faktūros (μ 7, σ 1,2, mediana apie 1 100)
P2Sunki uodega: 95 % lognormalusis su σ 1, 5 % didelių elementų (μ 9, σ 2,5)
P3Vienalytė: lognormalioji su σ 0,3
P4P1 su 5 % kredito likučių
P5Asimetriški likučiai (σ 1,9), be didžiausių 2,3 % elementų, tarsi jie būtų tikrinami visi

Dvylika iškraipymų modelių, įterptų į 0,2–50 % elementų:

ModelisIškraipyti elementaiKiekvieno iškraipymo dydis
E-uniparinkti atsitiktinaiapskaitinės vertės dalis nuo 0 iki 1
E-fullparinkti atsitiktinaivisa apskaitinė vertė
E-smallparinkti atsitiktinaiiki 20 % apskaitinės vertės
E-sizeparinkti proporcingai sumainuo 0 iki 1
E-invparinkti atvirkščiai proporcingai sumainuo 0 iki 1
E-mixedparinkti atsitiktinai80 % pervertinimų, 20 % nuvertinimų iki pusės apskaitinės vertės
E-over1parinkti atsitiktinai10 % jų didesni už apskaitinę vertę (tik kintamųjų įvertiniai)
E-strat-highvisi aukščiausiame sluoksnyjenuo 0 iki 1 (tik sluoksniuoti planai)
E-strat-lowvisi žemiausiame sluoksnyjenuo 0 iki 1 (tik sluoksniuoti planai)
E-arparinkti atsitiktinaitik pervertinimai: dažniausiai visa suma mažuose elementuose, mažos dalys dideliuose
E-balparinkti atsitiktinaimaži iškraipymai, po lygiai kiekviena kryptimi
E-underparinkti atsitiktinaidvigubai daugiau nuvertinimų nei pervertinimų, kai kurie didesni už apskaitinę vertę

Šeima yra viena populiacija su vienu modeliu, pavyzdžiui, P2 su E-full.

Metodai ir dydžiai

Imties dydžiai 30, 50, 75, 100, 150, 200, 300, 500 ir 1 000, kai pasikliovimo lygis 95 %, vienpusiškai:

Stringer riba su Puasono ir su binominiais koeficientais, pastovaus intervalo atrankose;

riba pagal ląsteles, atrankose pagal ląsteles;

klasikinis PPS, abiejose atrankose;

vidurkio vienetui, skirtumo, santykio ir regresijos įvertiniai;

požymių ribos, binominė ir hipergeometrinė.

Piniginių vienetų ir kintamųjų metodai matuojami ir sluoksniuoti, su 3 ir 5 sluoksniais, P1, P2, P4 ir P5 šeimose.

Kriterijus

Kiekvienam metodui, imties dydžiui n ir rastų iškraipymų skaičiui m tyrimas suskaičiuoja kiekvienos šeimos imtis. Jis grupuoja m į klases: 0, 1, 2, 3, 4, 5, 6–7, 8–10, 11–15, 16–20, 21–30, 31–50 ir daugiau nei 50.

Šeima vertina langelį, kai jame yra bent 1 000 imčių su riba.

Ji priima langelį, kai riba aprėpia tikrąją vertę bent 95,0 % jų, o šios aprėpties vienpusė 95 % Clopper-Pearson apatinė riba yra bent 94,0 %.

Langelis patenka į taikymo sritį, kai jį vertina bent 3 šeimos ir nė viena jo neatmeta.

Stringer, ląstelių ir požymių ribos vertinamos iš karto visiems m, pagal šeimą ir n, ir turi būti priimtos visur. Jų langeliai pagal m skelbiami, bet nėra sąlyga. Sujungus populiacijas su skirtingais iškraipymų dažniais, imtis, kurioje rasta mažai iškraipymų, dažniausiai kyla iš ištraukimų, kurie jų nepataikė, o ten riba per žema. Todėl nė viena tokio tipo riba nepraeina kriterijaus langelis po langelio pagal m.

Rezultatai

Metodas: Stringer riba, Puasono koeficientai · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,7 % · Taikymo sritis: nereikalinga

Metodas: Stringer riba, binominiai koeficientai · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,0 % · Taikymo sritis: nereikalinga

Metodas: Riba pagal ląsteles · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,7 % · Taikymo sritis: nereikalinga

Metodas: Stringer riba, sluoksniuota · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 99,9 % · Taikymo sritis: nereikalinga

Metodas: Riba pagal ląsteles, sluoksniuota · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 99,7 % · Taikymo sritis: nereikalinga

Metodas: Požymių riba, binominė · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 97,3 % · Taikymo sritis: nereikalinga

Metodas: Požymių riba, hipergeometrinė · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 96,3 % · Taikymo sritis: nereikalinga

Metodas: Klasikinis PPS · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 17,5 %, kai n = 30, 63,0 %, kai n = 1 000 · Taikymo sritis: tuščia

Metodas: Klasikinis PPS, sluoksniuotas · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: 31,8 %, kai n = 30, 65,3 %, kai n = 1 000 · Taikymo sritis: tuščia

Metodas: Vidurkis vienetui, skirtumas, santykis, regresija · Žemiausia aprėptis visiems m, bet kuriai šeimai ir dydžiui: nuo 15,1 % iki 20,5 %, kai n = 30 · Taikymo sritis: tuščia

Pagal m 20 iš 114 Stringer ribos su Puasono koeficientais langelių ir 25 iš 114 ribos pagal ląsteles langelių bent vienoje šeimoje nukrenta žemiau kriterijaus. Žemiausias yra 86,1 %, Stringer ribai, kai n = 1 000 ir rastas vienas iškraipymas (P5 su E-full).

Stringer riba ir riba pagal ląsteles yra atsargios. Vidutiniškai Stringer riba su Puasono koeficientais yra 2,82 karto didesnė už tikrąjį pervertinimą, kai n = 30, 1,68 karto, kai n = 100, ir 1,13 karto, kai n = 1 000. Riba pagal ląsteles yra 2,66, 1,60 ir 1,11 karto didesnė.

Kai klasikinio PPS imtis neranda iškraipymų, jos riba yra tik žinomas iškraipymas, todėl ji niekada neaprėpia populiacijos, kurioje iškraipymų yra. Jos silpnoji pusė yra pervertinimų viršutinė riba. Skirtumo, santykio ir regresijos ribos lygios 0, kai iškraipymų nerasta. Vidurkio vienetui riba asimetriškose populiacijose nepakankama: kai n = 1 000, jos apatinė riba P3 šeimoje aprėpia 94,5–95,0 % imčių, o P2 šeimoje 63–65 %.

Palyginimas su Financial Audit Manual

GAO ir CIGIE Financial Audit Manual (GAO-18-601G, atnaujintas 2020 m. balandį, 480.39 skyrius ir jo 5 išnaša) nurodo, kad piniginių vienetų imtį, kurioje daug iškraipymų, paprastai reikėtų vertinti kaip klasikinio PPS imtį, kartu su audito atrankos specialistu. Išnašoje pateikta bendra taisyklė: 10 iškraipymų, kai imtyje 75–100 elementų, 10 %, kai 100–300 elementų, ir 30, kai daugiau nei 300, o klasikiniam PPS reikia bent 75 elementų. 2026 m. birželio vadovo leidimas (GAO-26-108577) išlaiko tą pačią taisyklę.

Blast skelbia griežtesnį iš tyrimo ir vadovo slenksčių. Imtys, atitinkančios vadovo taisyklę, kai kuriose šeimose vis tiek lieka žemiau kriterijaus: kai n = 1 000 ir rasta daugiau nei 50 iškraipymų, 4 iš 118 šeimų atmeta klasikinio PPS ribą. Todėl jos taikymo sritis lieka tuščia. Kintamųjų įvertiniams vadovas tokios taisyklės nepateikia, todėl jų sritį nustato tik tyrimas.

Ko tyrimas nesako

Tyrimas matuoja aprėptį aukščiau nurodytose populiacijose, kai pasikliovimo lygis 95 %. Jis nieko nesako apie populiaciją, kurios jos neaprašo. Skirtukas Imtys priima ir kitus pasikliovimo lygius, kurių tyrimas nematavo. Aprėptis pagal m sujungta per šeimos populiacijų dydžius ir iškraipymų dažnius, todėl nepalankų dydį ar dažnį gali paslėpti kiti. Trys skirtuko pasirinkimai neišmatuoti: Stringer riba atrankoje pagal ląsteles, atsitiktinių piniginių vienetų atranka ir sistemingos imtys.

Galima atsisiųsti keturis 2-osios versijos failus: planą (plan.json), kiekvieno langelio verdiktą (verdicts.csv), variklio skaitomus slenksčius (thresholds.json) ir taikymo sritį (validity.json). Neapdoroti skaičiai neskelbiami; pirmoji komanda žemiau juos įrašo iš naujo.

Tyrimo pakartojimas

Kiekviena tyrimo versija užfiksuojama su planu (populiacijos, tinklelis, kriterijus ir tyrimo pradinė reikšmė 20261023), kiekvieno langelio neapdorotais skaičiais, kiekvieno langelio verdiktu, variklio skaitomais slenksčiais ir ataskaita. Kiekviena imtis turi savo pradinę reikšmę, išvestą iš tyrimo pradinės reikšmės, o skaičiavimai naudoja tik sveikųjų skaičių aritmetiką, todėl bet kuris kompiuteris įrašo tuos pačius skaičius. 2-osios versijos kampanija truko apie 2 valandas 20 minučių 14 branduolių kompiuteryje.

Iš analizės variklio šaltinio aplanko:

cargo run --locked --release --example sampling_coverage -- \ --plan ../../../../docs/quality/sampling-coverage/v2/plan.json \ --out target/sampling-coverage-v2 cargo run --locked --release --example sampling_coverage -- \ --derive target/sampling-coverage-v2 --validity stats/validity/v2.json \ --artefact ../../../../docs/quality/sampling-coverage/v2

Pirmoji komanda paleidžia kampaniją. Antroji iš jos skaičių išveda verdiktus, slenksčius ir ataskaitą.

Nauja vertinimo ar ištraukimo metodo versija sukelia variklio testų nesėkmę, kol su ja neužfiksuojama nauja tyrimo versija. Ankstesnės versijos išsaugomos, todėl vertinimas, užfiksuotas pagal ankstesnę versiją, pakartojamas taip pat.