L’étude de couverture de l’échantillonnage
La fréquence à laquelle chaque borne couvre l’anomalie réelle, par taille et nombre d’anomalies, sur des populations générées : méthode, critère, résultats.
L’étude de couverture mesure la fréquence à laquelle chaque borne d’échantillonnage du moteur d’analyse couvre l’anomalie réelle. Elle construit des populations dont l’anomalie est connue au centime, en tire 2 000 échantillons pour chaque méthode et chaque taille d’échantillon, et compte les échantillons dont la borne couvre la vérité. Une borne supérieure à 95 % devrait la couvrir dans au moins 95 % des échantillons.
Ses résultats décident de ce que Blast évalue : une méthode que l’étude n’accepte pas ne donne aucune borne. Cette page décrit la version 2 de l’étude, figée le 23 octobre 2026, la plus récente.
Populations et anomalies
Cinq familles de populations, chacune construite avec 2 000, 20 000 et 200 000 éléments :
| Famille | Population |
|---|---|
| P1 | Factures log-normales (μ 7, σ 1,2, médiane d’environ 1 100) |
| P2 | Queue lourde : 95 % log-normale de σ 1, 5 % de gros éléments (μ 9, σ 2,5) |
| P3 | Homogène : log-normale de σ 0,3 |
| P4 | P1 avec 5 % de soldes créditeurs |
| P5 | Soldes asymétriques (σ 1,9), sans les 2,3 % d’éléments les plus gros, comme s’ils étaient examinés en totalité |
Douze schémas d’anomalies, placés dans 0,2 % à 50 % des éléments :
| Schéma | Éléments faux | Taille de chaque anomalie |
|---|---|---|
| E-uni | choisis au hasard | une part de la valeur comptable entre 0 et 1 |
| E-full | choisis au hasard | toute la valeur comptable |
| E-small | choisis au hasard | jusqu’à 20 % de la valeur comptable |
| E-size | choisis en proportion du montant | entre 0 et 1 |
| E-inv | choisis en proportion inverse du montant | entre 0 et 1 |
| E-mixed | choisis au hasard | 80 % de surévaluations, 20 % de sous-évaluations jusqu’à la moitié de la valeur comptable |
| E-over1 | choisis au hasard | 10 % d’entre elles plus grandes que la valeur comptable (estimateurs par variables seulement) |
| E-strat-high | tous dans la strate la plus haute | entre 0 et 1 (plans stratifiés seulement) |
| E-strat-low | tous dans la strate la plus basse | entre 0 et 1 (plans stratifiés seulement) |
| E-ar | choisis au hasard | surévaluations seulement : surtout le montant entier sur les petits éléments, de petites parts sur les gros |
| E-bal | choisis au hasard | de petites anomalies, autant dans chaque sens |
| E-under | choisis au hasard | deux fois plus de sous-évaluations que de surévaluations, certaines plus grandes que la valeur comptable |
Une famille est une population avec un schéma, par exemple P2 avec E-full.
Méthodes et tailles
Tailles d’échantillon 30, 50, 75, 100, 150, 200, 300, 500 et 1 000, à 95 % de confiance, en unilatéral :
la borne de Stringer avec les facteurs de Poisson et avec les facteurs binomiaux, sur des sélections à intervalle fixe ;
la borne par cellule, sur des sélections par cellule ;
le PPS classique, sur les deux sélections ;
les estimateurs moyenne par unité, différence, ratio et régression ;
les bornes d’attributs, binomiale et hypergéométrique.
Les méthodes par unité monétaire et par variables sont aussi mesurées stratifiées, en 3 et 5 strates, sur P1, P2, P4 et P5.
Critère
Pour chaque méthode, taille d’échantillon n et nombre d’anomalies trouvées m, l’étude compte les échantillons de chaque famille. Elle regroupe m en classes : 0, 1, 2, 3, 4, 5, 6–7, 8–10, 11–15, 16–20, 21–30, 31–50 et plus de 50.
Une famille juge une cellule quand la cellule compte au moins 1 000 échantillons avec une borne.
Elle accepte la cellule quand la borne couvre la vérité dans au moins 95,0 % d’entre eux et que la borne inférieure unilatérale de Clopper-Pearson à 95 % de cette couverture atteint au moins 94,0 %.
Une cellule est dans le domaine de validité quand au moins 3 familles la jugent et qu’aucune ne la rejette.
Les bornes de Stringer, par cellule et d’attributs sont jugées sur tous les m à la fois, par famille et par n, et doivent être acceptées partout. Leurs cellules selon m sont publiées sans être une condition. Quand des populations de taux d’anomalies différents sont regroupées, un échantillon qui trouve peu d’anomalies vient surtout de tirages qui les ont manquées, là où la borne est trop basse. C’est pourquoi aucune borne de ce type ne passe cellule par cellule selon m.
Résultats
Méthode: Borne de Stringer, facteurs de Poisson · Couverture la plus basse, tous m confondus, toute famille et toute taille: 97,7 % · Domaine de validité: inutile
Méthode: Borne de Stringer, facteurs binomiaux · Couverture la plus basse, tous m confondus, toute famille et toute taille: 97,0 % · Domaine de validité: inutile
Méthode: Borne par cellule · Couverture la plus basse, tous m confondus, toute famille et toute taille: 97,7 % · Domaine de validité: inutile
Méthode: Borne de Stringer, stratifiée · Couverture la plus basse, tous m confondus, toute famille et toute taille: 99,9 % · Domaine de validité: inutile
Méthode: Borne par cellule, stratifiée · Couverture la plus basse, tous m confondus, toute famille et toute taille: 99,7 % · Domaine de validité: inutile
Méthode: Borne d’attributs, binomiale · Couverture la plus basse, tous m confondus, toute famille et toute taille: 97,3 % · Domaine de validité: inutile
Méthode: Borne d’attributs, hypergéométrique · Couverture la plus basse, tous m confondus, toute famille et toute taille: 96,3 % · Domaine de validité: inutile
Méthode: PPS classique · Couverture la plus basse, tous m confondus, toute famille et toute taille: 17,5 % à n = 30, 63,0 % à n = 1 000 · Domaine de validité: vide
Méthode: PPS classique, stratifié · Couverture la plus basse, tous m confondus, toute famille et toute taille: 31,8 % à n = 30, 65,3 % à n = 1 000 · Domaine de validité: vide
Méthode: Moyenne par unité, différence, ratio, régression · Couverture la plus basse, tous m confondus, toute famille et toute taille: entre 15,1 % et 20,5 % à n = 30 · Domaine de validité: vide
Selon m, 20 des 114 cellules de la borne de Stringer avec les facteurs de Poisson et 25 des 114 cellules de la borne par cellule passent sous le critère dans au moins une famille. La plus basse est à 86,1 %, pour la borne de Stringer à n = 1 000 quand une anomalie est trouvée (P5 avec E-full).
Les bornes de Stringer et par cellule sont prudentes. En moyenne, la borne de Stringer avec les facteurs de Poisson vaut 2,82 fois la surévaluation réelle à n = 30, 1,68 fois à n = 100 et 1,13 fois à n = 1 000. La borne par cellule vaut 2,66, 1,60 et 1,11 fois.
Quand un échantillon PPS classique ne trouve aucune anomalie, sa borne se réduit à l’anomalie connue : elle ne couvre donc jamais une population qui en contient une. Son côté faible est la borne supérieure des surévaluations. Les bornes par différence, ratio et régression valent 0 quand aucune anomalie n’est trouvée. La borne de la moyenne par unité est trop courte sur les populations asymétriques : à n = 1 000, sa borne inférieure couvre 94,5 % à 95,0 % des échantillons sur P3 et 63 % à 65 % sur P2.
Comparaison avec le Financial Audit Manual
Le Financial Audit Manual du GAO et du CIGIE (GAO-18-601G, mis à jour en avril 2020, section 480.39 et sa note 5) indique qu’un échantillon par unité monétaire qui compte un grand nombre d’anomalies devrait en général être évalué comme un échantillon PPS classique, avec un spécialiste de l’échantillonnage d’audit. Sa note donne la règle générale : 10 anomalies pour un échantillon de 75 à 100 éléments, 10 % de 100 à 300 éléments et 30 au-delà de 300, avec au moins 75 éléments pour le PPS classique. L’édition de juin 2026 du manuel (GAO-26-108577) garde la même règle.
Blast publie le plus strict de l’étude et du manuel. Des échantillons qui respectent la règle du manuel restent sous le critère dans certaines familles : à n = 1 000 avec plus de 50 anomalies trouvées, 4 familles sur 118 rejettent la borne PPS classique. Son domaine reste donc vide. Le manuel ne donne pas de règle de ce type pour les estimateurs par variables : l’étude seule fixe la leur.
Ce que l’étude ne dit pas
L’étude mesure la couverture sur les populations ci-dessus, à 95 % de confiance. Elle ne dit rien d’une population qu’elles ne décrivent pas. L’onglet Échantillons accepte d’autres niveaux de confiance, que l’étude n’a pas mesurés. La couverture selon m est regroupée sur les tailles de population et les taux d’anomalies d’une famille : une taille ou un taux défavorable peut être masqué par les autres. Trois choix de l’onglet ne sont pas mesurés : la borne de Stringer sur une sélection par cellule, la sélection par unités monétaires au hasard et les échantillons systématiques.
Quatre fichiers de la version 2 se téléchargent : le plan (plan.json), le verdict de chaque cellule (verdicts.csv), les seuils que lit le moteur (thresholds.json) et le domaine de validité (validity.json). Les comptes bruts ne sont pas publiés : la première commande ci-dessous les réécrit.
Relancer l’étude
Chaque version de l’étude est figée avec son plan (populations, grille, critère et graine de l’étude, 20261023), les comptes bruts de chaque cellule, le verdict de chaque cellule, les seuils que lit le moteur et un rapport. Chaque échantillon a sa propre graine, dérivée de la graine de l’étude, et les comptes n’emploient que l’arithmétique entière : toute machine écrit les mêmes comptes. La campagne de la version 2 a pris environ 2 heures 20 minutes sur une machine à 14 cœurs.
Depuis le dossier source du moteur d’analyse :
cargo run --locked --release --example sampling_coverage -- \ --plan ../../../../docs/quality/sampling-coverage/v2/plan.json \ --out target/sampling-coverage-v2 cargo run --locked --release --example sampling_coverage -- \ --derive target/sampling-coverage-v2 --validity stats/validity/v2.json \ --artefact ../../../../docs/quality/sampling-coverage/v2
La première commande lance la campagne. La seconde en dérive les verdicts, les seuils et le rapport.
Une nouvelle version d’une méthode d’évaluation ou de tirage fait échouer les tests du moteur tant qu’une nouvelle version de l’étude n’est pas figée avec elle. Les versions antérieures restent : une évaluation enregistrée sous une version antérieure se rejoue à l’identique.