Lo studio di copertura del campionamento
Quanto spesso ogni limite copre l’errore reale, per dimensione ed errori trovati, su popolazioni generate: metodo, criterio e risultati.
Lo studio di copertura misura quanto spesso ogni limite di campionamento del motore di analisi copre l’errore reale. Costruisce popolazioni il cui errore è noto al centesimo, ne estrae 2.000 campioni per ogni metodo e dimensione del campione, e conta i campioni il cui limite copre il valore vero. Un limite superiore al 95 % dovrebbe coprirlo in almeno il 95 % dei campioni.
I suoi risultati decidono che cosa Blast valuta: un metodo che lo studio non accetta non dà alcun limite. Questa pagina descrive la versione 2 dello studio, fissata il 23 ottobre 2026, la più recente.
Popolazioni ed errori
Cinque famiglie di popolazioni, ognuna costruita con 2.000, 20.000 e 200.000 elementi:
| Famiglia | Popolazione |
|---|---|
| P1 | Fatture lognormali (μ 7, σ 1,2, mediana di circa 1.100) |
| P2 | Coda pesante: 95 % lognormale con σ 1, 5 % di elementi grandi (μ 9, σ 2,5) |
| P3 | Omogenea: lognormale con σ 0,3 |
| P4 | P1 con il 5 % di saldi avere |
| P5 | Saldi asimmetrici (σ 1,9), senza il 2,3 % degli elementi più grandi, come se fossero esaminati per intero |
Dodici schemi di errore, inseriti nello 0,2 %–50 % degli elementi:
| Schema | Elementi errati | Entità di ogni errore |
|---|---|---|
| E-uni | scelti a caso | una quota del valore contabile tra 0 e 1 |
| E-full | scelti a caso | l’intero valore contabile |
| E-small | scelti a caso | fino al 20 % del valore contabile |
| E-size | scelti in proporzione all’importo | tra 0 e 1 |
| E-inv | scelti in proporzione inversa all’importo | tra 0 e 1 |
| E-mixed | scelti a caso | 80 % sopravvalutazioni, 20 % sottovalutazioni fino a metà del valore contabile |
| E-over1 | scelti a caso | il 10 % maggiore del valore contabile (solo stimatori per variabili) |
| E-strat-high | tutti nello strato più alto | tra 0 e 1 (solo piani stratificati) |
| E-strat-low | tutti nello strato più basso | tra 0 e 1 (solo piani stratificati) |
| E-ar | scelti a caso | solo sopravvalutazioni: per lo più l’intero importo sugli elementi piccoli, piccole quote sui grandi |
| E-bal | scelti a caso | piccoli errori, tanti in una direzione quanti nell’altra |
| E-under | scelti a caso | il doppio di sottovalutazioni rispetto alle sopravvalutazioni, alcune maggiori del valore contabile |
Una famiglia è una popolazione con uno schema, per esempio P2 con E-full.
Metodi e dimensioni
Dimensioni del campione 30, 50, 75, 100, 150, 200, 300, 500 e 1.000, al 95 % di confidenza, unilaterale:
il limite di Stringer con fattori di Poisson e con fattori binomiali, su selezioni a intervallo fisso;
il limite per celle, su selezioni per celle;
il PPS classico, su entrambe le selezioni;
gli stimatori media per unità, differenza, rapporto e regressione;
i limiti per attributi, binomiale e ipergeometrico.
I metodi per unità monetaria e per variabili sono misurati anche stratificati, con 3 e 5 strati, su P1, P2, P4 e P5.
Criterio
Per ogni metodo, dimensione del campione n e numero di errori trovati m, lo studio conta i campioni di ogni famiglia. Raggruppa m in classi: 0, 1, 2, 3, 4, 5, 6–7, 8–10, 11–15, 16–20, 21–30, 31–50 e oltre 50.
Una famiglia giudica una cella quando la cella contiene almeno 1.000 campioni con un limite.
Accetta la cella quando il limite copre il valore vero in almeno il 95,0 % di essi e il limite inferiore unilaterale di Clopper-Pearson al 95 % di questa copertura è almeno il 94,0 %.
Una cella è nel dominio di validità quando almeno 3 famiglie la giudicano e nessuna la rifiuta.
I limiti di Stringer, per celle e per attributi sono giudicati su tutti gli m insieme, per famiglia e per n, e devono essere accettati ovunque. Le loro celle per m sono pubblicate ma non sono una condizione. Quando si raggruppano popolazioni con tassi di errore diversi, un campione che trova pochi errori viene per lo più da estrazioni che li hanno mancati, dove il limite è troppo basso. Per questo nessun limite di questo tipo supera il criterio cella per cella secondo m.
Risultati
Metodo: Limite di Stringer, fattori di Poisson · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 97,7 % · Dominio di validità: non necessario
Metodo: Limite di Stringer, fattori binomiali · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 97,0 % · Dominio di validità: non necessario
Metodo: Limite per celle · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 97,7 % · Dominio di validità: non necessario
Metodo: Limite di Stringer, stratificato · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 99,9 % · Dominio di validità: non necessario
Metodo: Limite per celle, stratificato · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 99,7 % · Dominio di validità: non necessario
Metodo: Limite per attributi, binomiale · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 97,3 % · Dominio di validità: non necessario
Metodo: Limite per attributi, ipergeometrico · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 96,3 % · Dominio di validità: non necessario
Metodo: PPS classico · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 17,5 % a n = 30, 63,0 % a n = 1.000 · Dominio di validità: vuoto
Metodo: PPS classico, stratificato · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: 31,8 % a n = 30, 65,3 % a n = 1.000 · Dominio di validità: vuoto
Metodo: Media per unità, differenza, rapporto, regressione · Copertura più bassa, su tutti gli m, qualsiasi famiglia e dimensione: tra il 15,1 % e il 20,5 % a n = 30 · Dominio di validità: vuoto
Secondo m, 20 delle 114 celle del limite di Stringer con fattori di Poisson e 25 delle 114 celle del limite per celle scendono sotto il criterio in almeno una famiglia. La più bassa è all’86,1 %, per il limite di Stringer a n = 1.000 quando si trova un errore (P5 con E-full).
I limiti di Stringer e per celle sono prudenti. In media il limite di Stringer con fattori di Poisson vale 2,82 volte la sopravvalutazione reale a n = 30, 1,68 volte a n = 100 e 1,13 volte a n = 1.000. Il limite per celle vale 2,66, 1,60 e 1,11 volte.
Quando un campione PPS classico non trova errori, il suo limite è solo l’errore noto: non copre quindi mai una popolazione che ne contiene. Il suo lato debole è il limite superiore delle sopravvalutazioni. I limiti per differenza, rapporto e regressione valgono 0 quando non si trova alcun errore. Il limite della media per unità non basta sulle popolazioni asimmetriche: a n = 1.000 il suo limite inferiore copre dal 94,5 % al 95,0 % dei campioni su P3 e dal 63 % al 65 % su P2.
Confronto con il Financial Audit Manual
Il Financial Audit Manual di GAO e CIGIE (GAO-18-601G, aggiornato ad aprile 2020, sezione 480.39 e nota 5) afferma che un campione per unità monetaria con un gran numero di errori dovrebbe in generale essere valutato come un campione PPS classico, insieme a uno specialista del campionamento di revisione. La nota dà la regola generale: 10 errori per un campione da 75 a 100 elementi, il 10 % da 100 a 300 elementi e 30 oltre 300, con almeno 75 elementi per il PPS classico. L’edizione di giugno 2026 del manuale (GAO-26-108577) mantiene la stessa regola.
Blast pubblica il più severo tra lo studio e il manuale. I campioni che rispettano la regola del manuale restano sotto il criterio in alcune famiglie: a n = 1.000 con più di 50 errori trovati, 4 famiglie su 118 rifiutano il limite PPS classico. Il suo dominio resta quindi vuoto. Il manuale non dà una regola simile per gli stimatori per variabili: lo studio fissa da solo il loro.
Che cosa lo studio non dice
Lo studio misura la copertura sulle popolazioni indicate sopra, al 95 % di confidenza. Non dice nulla di una popolazione che non descrivono. La scheda Campioni accetta altri livelli di confidenza, che lo studio non ha misurato. La copertura secondo m è raggruppata sulle dimensioni delle popolazioni e sui tassi di errore di una famiglia, quindi una dimensione o un tasso sfavorevoli possono essere nascosti dagli altri. Tre scelte della scheda non sono misurate: il limite di Stringer su una selezione per celle, la selezione per unità monetarie casuali e i campioni sistematici.
Quattro file della versione 2 si possono scaricare: il piano (plan.json), il verdetto di ogni cella (verdicts.csv), le soglie che il motore legge (thresholds.json) e il dominio di validità (validity.json). I conteggi grezzi non sono pubblicati; il primo comando qui sotto li riscrive.
Rieseguire lo studio
Ogni versione dello studio è fissata con il suo piano (popolazioni, griglia, criterio e seed dello studio, 20261023), i conteggi grezzi di ogni cella, il verdetto di ogni cella, le soglie che il motore legge e un rapporto. Ogni campione ha un proprio seed, derivato dal seed dello studio, e i conteggi usano solo aritmetica intera, quindi qualsiasi macchina scrive gli stessi conteggi. La campagna della versione 2 ha richiesto circa 2 ore e 20 minuti su una macchina a 14 core.
Dalla cartella del codice sorgente del motore di analisi:
cargo run --locked --release --example sampling_coverage -- \ --plan ../../../../docs/quality/sampling-coverage/v2/plan.json \ --out target/sampling-coverage-v2 cargo run --locked --release --example sampling_coverage -- \ --derive target/sampling-coverage-v2 --validity stats/validity/v2.json \ --artefact ../../../../docs/quality/sampling-coverage/v2
Il primo comando esegue la campagna. Il secondo ne ricava i verdetti, le soglie e il rapporto.
Una nuova versione di un metodo di valutazione o di estrazione fa fallire i test del motore finché non viene fissata con essa una nuova versione dello studio. Le versioni precedenti restano, quindi una valutazione registrata con una versione precedente si riesegue allo stesso modo.