Cadre national d'assurance de la qualité¹

A. Contexte et justification

Commentez A. Contexte et justification

1. La qualité représente une préoccupation de premier plan en ce qui a trait à la production de statistiques officielles. Un certain nombre de pays et d'organismes internationaux ont élaboré des concepts et des méthodes détaillés de contrôle de la qualité. Même si le niveau de chevauchement entre ces divers cadres de qualité est considérable, il n'existe pas encore de Cadre national d'assurance de la qualité (CNAQ) générique et reconnu au niveau international, qui pourrait être utilisé par un pays pour mettre en œuvre de façon systématique de nouvelles méthodes d'assurance de la qualité ou systématiser les méthodes existantes. Un tel CNAQ générique devrait reposer sur un consensus large concernant la notion de qualité et tirer parti des expériences acquises jusqu'à maintenant.

2. Le présent examen de programme constitue un premier pas dans cette direction. L'exposé de la situation internationale, qui décrit les concepts, cadres et outils d'assurance de la qualité qui ont été élaborés jusqu'à maintenant, est présenté dans la section II du présent document. La troisième section fait valoir les avantages d'un CNAQ et d'une version générique et énonce les étapes requises pour faire en sorte qu'il soit approuvé au niveau international. Certaines expériences propres au Canada sont présentées à l'annexe 1.

Justification

3. Pour mener à bien son mandat, un bureau de statistique national (BSN) doit fournir trois choses à la population qu'il dessert, de manière exemplaire²: a) de l'information qui répond à l'évolution des besoins du pays qui auront la plus haute priorité dans l'avenir (pertinence du programme); b) de l'information qui est représentative du monde qu'elle est destinée à décrire (qualité du produit); et c) de l'information qui est produite au meilleur coût possible (efficience).

4. La pertinence et la qualité sont liées de façon intrinsèque. En l'absence d'un effort proactif soutenu, ces deux aspects diminuent au fil du temps. Les économies et les sociétés que nous tentons de mesurer évoluent à un rythme sans précédent. Nous devons combler l'" écart sur le plan de la pertinence " entre les données que nous produisons et les besoins prioritaires de nos utilisateurs.

5. Parallèlement, un " écart sur le plan de la qualité " a commencé à se creuser. Les répondants des ménages et des entreprises sont de moins en moins disposés à participer aux enquêtes, et leur mode de vie ainsi que la technologie font en sorte qu'il est de plus en plus difficile de communiquer avec eux. Les outils et les systèmes informatiques essentiels pour produire les données se détériorent s'ils ne sont pas mis à niveau. Les changements démographiques sans précédent qui touchent la population active exercent une pression additionnelle sur de nombreux BSN. Dans certains cas, cela a pris la forme d'erreurs dans des données importantes publiées.

6. Dans un contexte de budgets limités, la qualité doit être bien gérée. Il faut envisager des compromis. À cette fin, des indicateurs de la qualité doivent être élaborés pour décrire les divers aspects de la qualité et faciliter une évaluation globale de celle ci au niveau agrégé. De façon plus particulière, il faut élaborer des indicateurs composites objectifs de la qualité, en regroupant les divers éléments qui les composent. Le but visé est l'atteinte d'un objectif double : une perception globale de la qualité et la production des données nécessaires pour établir un équilibre, en vue de respecter les exigences de pertinence et de qualité dans un contexte budgétaire limité. Si l'on tient compte du fait que de telles mesures ne sont pas toujours possibles, on pourrait plutôt avoir recours à des évaluations subjectives de la qualité globale par des experts.

7. Certains aspects de la qualité peuvent être qualifiés de " statiques ", du fait qu'ils représentent une préoccupation constante et qu'ils ont tendance à évoluer relativement lentement. D'autres sont " dynamiques ", dans le sens que l'attention qu'ils nécessitent peut augmenter ou diminuer rapidement en fonction des changements qui touchent l'environnement d'un BSN. Étant donné que de nombreux aspects de la qualité sont dynamiques et ont tendance à se détériorer en l'absence d'effort proactif, il faut investir constamment dans la qualité, uniquement pour maintenir le statu quo. La situation évolue et les besoins changent plus que jamais auparavant. C'est donc dire que le rôle de la qualité à l'intérieur de la gestion globale d'un BSN doit faire l'objet d'un examen continu.

Commentez A. Contexte et justification

B. Terminologie

Commentez B. Terminologie

8. Un BSN intervient dans une gamme de processus statistiques, y compris des enquêtes par échantillonnage, des recensements, la collecte de données administratives, la production d'indices de prix et d'autres indices économiques et compilations statistiques, comme les comptes nationaux et la balance des paiements. Dans le présent document, par souci de concision, et compte tenu de la convention adoptée par plusieurs pays, ces processus sont tous désignés par le terme générique enquêtes. Il s'agit d'un prolongement de la définition plus courante du terme enquêtes. La notion de programme d'enquête est utilisée pour désigner un groupe d'enquêtes à l'intérieur d'un domaine, et celle de programme statistique est réservée à l'ensemble complet d'enquêtes à l'intérieur d'un BSN, distinctes d'un programme d'enquête.

9. Le terme qualité est interprété au sens large et englobe tous les aspects de la façon dont les processus et les résultats statistiques répondent aux attentes des utilisateurs et des intervenants. Une bonne qualité ne se limite pas à répondre aux besoins des utilisateurs, mais nécessite aussi de prendre en compte les préoccupations des répondants concernant le fardeau de réponse et la confidentialité et de veiller à ce que le contexte institutionnel soit impartial, objectif et qu'il repose sur une méthodologie éprouvée et des méthodes efficaces au niveau des coûts.

10. On suppose qu'un cadre national d'assurance de la qualité (CNAQ) s'adresse à peu près au même niveau organisationnel que le système de management de la qualité décrit dans la série bien connue de normes de qualité ISO 9000, mais adapté au contexte particulier d'un BSN. L'accent est mis sur la gestion des fonctions statistiques de base, plutôt que sur les ressources humaines et les communications. Cela englobe des lignes directrices concernant la qualité, c'est à dire non pas seulement des pratiques éprouvées, mais aussi les mécanismes qui peuvent servir à leur mise en œuvre.

Commentez B. Terminologie

A. Concepts d'assurance de la qualité

Commentez II. A. Concepts d'assurance de la qualité

11. La création et l'application d'un CNAQ se situent à l'intérieur du contexte plus général de gestion de la qualité. La présente sous section fait état de l'élaboration de concepts internationaux d'assurance de la qualité. Les sous sections qui suivent résument les outils d'assurance de la qualité existants.

12. La norme d'assurance de la qualité la plus largement utilisée dans le monde appartient à la série ISO 9000 Systèmes de management de la qualité. La norme ISO 9000 énonce des principes de management de la qualité totale (MQT) de la façon suivante:

• Orientation client: Les organismes dépendent de leurs clients, il convient donc qu'ils en comprennent les besoins présents et futurs et qu'ils satisfassent leurs exigences; les clients jouent un rôle de premier plan quant à la définition de la qualité; la qualité correspond à la perception des clients et non pas de l'organisation.
• Leadership et finalité: Les dirigeants établissent la finalité et les orientations de l'organisme. Il convient qu'ils créent et maintiennent un environnement interne dans lequel les personnes peuvent pleinement s'impliquer dans la réalisation des objectifs de l'organisme; les améliorations de la qualité reposent sur le leadership et le maintien de l'orientation.
• Implication du personnel: Les personnes à tous niveaux sont l'essence même d'un organisme et une totale implication de leur part permet d'utiliser leurs aptitudes au profit de l'organisme.
• Approche processus: Il est efficace de gérer les activités et les ressources comme un processus; tout processus peut être subdivisé en une chaîne de processus auxiliaires, le produit d'un processus représentant l'intrant du suivant.
• Management par approche système: Identifier, comprendre et gérer des processus corrélés comme un système contribue à l'efficacité et l'efficience.
• Amélioration continue: Il convient que l'amélioration continue soit un objectif permanent d'un organisme.
• Approche factuelle pour la prise de décision: Les décisions efficaces se fondent sur l'analyse de données et d'informations.
• Relations mutuellement bénéfiques avec les fournisseurs: Un organisme et ses fournisseurs sont interdépendants et des relations mutuellement bénéfiques augmentent les capacités des deux organismes à créer de la valeur.

13. Toutefois, comme il est indiqué dans l'introduction de la norme ISO 9001, la conception et la mise en oeuvre d'un système de management de la qualité tiennent compte de l'environnement de l'organisme, des modifications de cet environnement ou des risques associés à cet environnement, de besoins variables, d'objectifs particuliers, des produits fournis, des processus mis en oeuvre, de la taille et de la structure de l'organisme. La présente Norme internationale ne vise ni l'uniformité des structures des systèmes de management de la qualité, ni l'uniformité de la documentation. Autrement dit, l'utilisation optimale d'une norme pour une organisation particulière ou un groupe d'organisations similaires signifie son interprétation en fonction du contexte particulier.

14. Dans le cas des BSN, le contexte peut être caractérisé de la façon suivante.

• Les BSN sont des entreprises publiques et non pas privées. Elles ne visent pas la réalisation de bénéfices. Elles fournissent des données sans frais à des utilisateurs, plutôt qu'à des clients, moyennant des frais. Dans une large mesure, les utilisateurs ne peuvent pas influencer la qualité par leurs décisions d'achat.
• Certains des utilisateurs sont des utilisateurs internes, par exemple, les responsables des comptes nationaux utilisent les données de nombreuses enquêtes, en plus de produire eux mêmes des données.
• Les principaux intrants sont généralement des données d'entreprises individuelles, de ménages et de particuliers, qui ont été recueillies directement ou au moyen de processus administratifs.
• Les processus de production de base consistent à transformer ces données individuelles en données agrégées et à les compiler dans des produits statistiques.
• Les produits principaux (généralement appelés résultats) sont des statistiques et des services connexes.

15. La norme ISO 20256 ISO 20252:2006 Études de marché, études sociales et d'opinion - Vocabulaire et exigences de service, publiée en 2006, contribue dans une certaine mesure à fournir une norme de qualité mieux adaptée aux BSN que la série ISO 9000. La norme ISO 20256 met grandement l'accent sur la nécessité d'un système de management de la qualité. Toutefois, la norme n'est pas entièrement appropriée, étant davantage destinée à des organismes commerciaux que gouvernementaux. Par ailleurs, elle n'est disponible que depuis peu. Ainsi, depuis le milieu des années 1990, la communauté statistique - les BSN et les divisions/directions statistiques des organismes internationaux qui compilent des statistiques - élabore des outils de gestion de la qualité qui vont de concepts, politiques et modèles d'assurance de la qualité à des ensembles détaillés de méthodes et d'indicateurs de la qualité, qui sont résumés dans les sous sections qui suivent.

Commentez II. A. Concepts d'assurance de la qualité

B. Politiques et stratégies en matière d'assurance de la qualité

Commentez II. B. Politiques et stratégies en matière d'assurance de la qualité

16. En 1994, la Commission de statistique des Nations Unies (CSNU) a fourni des indications quant au genre d'environnement dans lequel la gestion de la qualité peut être assurée efficacement, grâce à la promulgation des Principes fondamentaux de la statistique officielle pour les systèmes statistiques nationaux. Même si aucun des dix principes n'a explicitement trait à la qualité, ils sont tous essentiels à un système de gestion de la qualité. Par la suite, en 2005, le Comité de coordination des activités statistiques des Nations Unies adoptait un ensemble équivalent de principes pour les organismes internationaux chargé de compiler des statistiques - les Principes régissant les activités statistiques internationales.

17. En décembre 1993, Eurostat annonçait que sa mission était " de fournir à l'Union européenne un service d'information statistique de haute qualité ". En 1995, il établissait un Groupe de travail (GT) sur l'évaluation de la qualité des statistiques, pour les statistiques des entreprises, composé de BSN d'États membres de l'Union européenne. Le Comité du programme statistique (CPS) de l'Union européenne a par la suite élargi le rôle du GT, en vue d'englober tous les types de statistiques, et plus récemment, en laissant de côté la notion d'" évaluation " de la qualité dans le titre. En 1999, le CPS créait le Groupe de travail sur la qualité des statistiques présidé par le bureau de la statistique de la Suède. Ce groupe a eu une influence considérable sur la définition et la promotion des initiatives d'assurance de la qualité et de la sensibilisation à la qualité à l'intérieur et à l'extérieur du Système statistique européen (SSE). Il a présenté 22 recommandations à la Conférence internationale sur la qualité des statistiques officielles de 2001, à Stockholm, et a produit un rapport final à l'intention de la Commission européenne, en 2002. Les recommandations ont été à la base de nombreux progrès subséquents à Eurostat et dans les États membres de l'Union européenne.

18. Le Groupe de travail a élaboré une ébauche de la Déclaration de qualité du SSE, qui a été adoptée par le Comité du programme statistique du SSE, en 2001, à titre de mesure officielle en vue d'intégrer la gestion de la qualité totale dans le SSE. La Déclaration de qualité comprend l'énoncé de mission du SSE, l'énoncé de vision du SSE et dix principes fondés sur les Principes fondamentaux des Nations Unies, mais adaptés au contexte du SSE. Il a servi de base à la formulation subséquente du Code de bonnes pratiques de la statistique européenne adopté par la Commission européenne en 2005. Le Code vise à faire en sorte qu'Eurostat et les BSN des États membres de l'Union européenne adoptent une approche commune et globale en ce qui a trait à la production de statistiques de qualité. Il repose sur la définition de la qualité du SSE et comprend 15 principes clés qui englobent l'environnement institutionnel, les processus statistiques et les résultats. Pour chaque principe, le Code définit un ensemble d'indicateurs rendant compte des bonnes pratiques et servant de base à l'évaluation. La Conformité au code par les BSN des États membres a été mesurée depuis, à la fois grâce à des autoévaluations et des examens par les pairs.

19. Le nouveau Règlement (CE) no 223/2009 relatif aux statistiques européennes (appelé loi statistique) a été adopté par le Parlement européen et le Conseil, le 11 mars 2009. Il comprend des dispositions générales concernant la qualité et l'éthique, et fournit ainsi un cadre pour l'assurance de la qualité et les rapports du SSE qui va bien au delà de l'ancien Règlement (CE) no 332/97 du Conseil relatif à la statistique communautaire. Les principaux changements comprennent une référence au Code de bonnes pratiques, ainsi qu'un nouvel article (article 12) qui définit huit critères de qualité, qui aborde la définition d'objectifs et de normes minimales de qualité et qui met l'accent sur les rapports de qualité du SSE.

Commentez II. B. Politiques et stratégies en matière d'assurance de la qualité

C. Outils génériques d'assurance de la qualité

Commentez II. C. Outils génériques d'assurance de la qualité

20. Par suite des recommandations du Groupe de travail, Eurostat et les BSN européens ont élaboré une série exhaustive d'outils génériques d'assurance de la qualité. Les Standards du SSE pour les rapports de qualité, qui ont été adoptés en 2003 et mis à jour en 2009, comprennent des recommandations pour l'établissement de rapports de qualité complets par les BSN et les services d'Eurostat. Le Manuel du SSE pour les rapports de qualité aussi mis à jour en 2009, comprend plus de détails et d'exemples. Les deux documents comprennent la version la plus à jour de l'ensemble des indicateurs de qualité et de rendement uniformes du SSE, utilisés pour résumer la qualité des résultats statistiques.

21. Le Glossaire de la qualité du SSE, qui a été publié pour la première fois en 2003, aborde de nombreux termes techniques de la documentation de la qualité du SSE, fournit une brève description pour chaque terme et indique la source de la définition. Un glossaire plus complet et à jour, le Vocabulaire commun des métadonnées, a été élaboré par un partenariat d'organismes internationaux, y compris Eurostat.

22. La Liste de contrôle pour les responsables d'enquêtes (DESAP) permet la tenue d'évaluations rapides, mais systématiques et complètes, de la qualité d'une enquête et de ses résultats, ainsi que la détermination des améliorations possibles. Il existe une Liste de contrôle électronique (DESAP) de l'autoévaluation, ainsi qu'un Guide électronique de l'utilisateur (DESAP).

23. Le Manuel sur l'amélioration de la qualité par l'analyse des variables du processus décrit une approche générale et des outils utiles pour déterminer, mesurer et analyser les variables de processus clés. Le Manuel sur la qualité des données - Méthodes et outils d'évaluation comprend une liste détaillée de toute la gamme de méthodes d'évaluation de la qualité des processus et des résultats, ainsi que des outils qui les soutiennent.

24. Au cours des dernières années, Eurostat a élaboré un baromètre de la qualité, avec comme objectif de résumer le rendement du SSE globalement à ce chapitre. De façon plus particulière, les objectifs visés sont les suivants:

• mesurer l'évolution de la qualité des données d'un domaine à l'autre et au fil du temps;
• déterminer les pratiques exemplaires et les faiblesses structurelles;
• fournir de meilleures données de gestion, grâce à un cadre de contrôle commun.

25. En principe, le baromètre de la qualité est établi à partir des valeurs de l'ensemble uniforme d'indicateurs de qualité et de rendement pour chaque processus statistique (enquête), pour chaque pays soumettant des rapports à Eurostat. Le problème vient du fait que ces données ne sont pas disponibles pour tous les processus et pour tous les pays - il n'existe pas de rapports de qualité pour certains processus statistiques, les exigences en matière de rapports de qualité n'ont pas été pleinement harmonisées et les données existantes des rapports de qualité ne sont pas toujours mises à jour de façon régulière. Ainsi, on s'occupe actuellement de définir le nouvel ensemble d'indicateurs de qualité et de rendement du SSE et de veiller à ce qu'il corresponde à l'émergence des métadonnées en format Euro-SDMX (ESMS). L'idée générale est que, une fois que l'ESMS aura été mise en œuvre, elle servira de base pour obtenir les données nécessaires pour le baromètre de la qualité sans augmenter le fardeau de déclaration.

26. Des outils génériques d'assurance de la qualité ont aussi été élaborés par d'autres organismes statistiques internationaux. Parmi eux, le mieux connu est le Cadre d'évaluation de la qualité des données (CEQD) du FMI. Il a été élaboré pour la première fois en 2001 par le Département des statistiques du FMI. Il vise à compléter l'aspect qualité de la Norme spéciale de diffusion des données (NSDD) et du Système général de diffusion des données (SGDD) du FMI, ainsi qu'à sous tendre l'évaluation de la qualité des données fournies par les pays, à titre de contexte pour les Rapports sur l'observation des normes et des codes du FMI. Il est conçu en vue d'être utilisé par le personnel du FMI et les BSN pour évaluer la qualité de types particuliers d'ensembles de données nationaux (p. ex., les enquêtes, au sens large dans le présent document), et englobe actuellement les comptes nationaux, l'indice des prix à la consommation, l'indice des prix à la production, les statistiques financières et publiques, les statistiques monétaires, la balance des paiements et la dette extérieure.

27. Le CEQD est un outil d'évaluation de la qualité axé sur les processus. Il sert de structure pour la comparaison des pratiques existantes et des pratiques exemplaires, pour cinq aspects de la qualité des données - intégrité, solidité méthodologique, exactitude et fiabilité, utilité et accessibilité - ainsi que ce que l'on appelle les préconditions quant à la qualité des données. Il fait état de trois à cinq éléments de pratiques exemplaires pour chaque aspect et de plusieurs indicateurs pour chaque élément. Par ailleurs, à partir d'un cadre comportant plusieurs niveaux, il permet l'évaluation concrète et détaillée des ensembles de données, grâce à des thèmes et des éléments clés. Les trois premiers niveaux du cadre sont génériques, c'est à dire qu'ils s'appliquent à tous les ensembles de données (CEQD, juillet 2003), tandis que les niveaux inférieurs sont propres à chaque type d'ensemble de données.

Commentez II. C. Outils génériques d'assurance de la qualité

D. Cadres d'assurance de la qualité pour les organismes internationaux

Commentez II.D. Cadres d'assurance de la qualité pour les organismes internationaux

28. La présente section fait état brièvement de trois documents publics décrivant les CAQ pour les organismes internationaux qui compilent des statistiques. Les documents sont axés sur les caractéristiques particulières de ces organismes, à savoir que:

• la production de statistiques est secondaire dans le contexte des objectifs principaux de l'organisme et relève d'un service (département, division, etc.) à l'intérieur de l'organisme;
• les structures institutionnelles des organismes diffèrent considérablement; et
• les statistiques sont principalement ou entièrement compilées à partir des données fournies par les BSN ou d'autres organismes, et non pas des données recueillies directement auprès des entreprises et des ménages.

29. Néanmoins, sauf pour ce qui est de la collecte directe de données, les documents comprennent de nombreuses idées utiles pour l'élaboration d'un CNAQ générique.

• Les Quality Framework and Guidelines de l'OCDE ont été élaborées en 2002 et publiées en 2003. La qualité des données des produits est définie selon sept aspects : pertinence, exactitude, crédibilité, actualité, accessibilité, intelligibilité, cohérence. La crédibilité s'ajoute à l'ensemble habituel d'aspects, en vue de rendre compte du rôle clé que les perceptions des utilisateurs et des intervenants jouent dans le contexte de l'OCDE. Parmi les autres facteurs pris en compte de façon distincte dans le cadre figure la rentabilité.
• Eurostat a élaboré son propre CAQ (dernière version datée de décembre 2008), en conformité avec l'ébauche de lignes directrices génériques (sous section précédente). Le CAQ d'Eurostat présente l'assurance de la qualité comme comprenant cinq éléments de base : documentation, uniformisation des procédés et des méthodes statistiques, mesure de la qualité, planification stratégique et contrôle, et mesures d'amélioration. Le CAQ d'Eurostat définit quatre types d'évaluation qui, en ordre ascendant de complexité, sont les suivants : autoévaluation, autoévaluation assistée, examen par les pairs, examen cumulatif.
• L'European Central Bank Statistics Quality Framework (ECB SQF) a été produit en 2008. Il énonce les principaux éléments et principes d'assurance de la qualité qui guident la production de statistiques à la BCE. Ces principes ont trait à l'‘environnement institutionnel’, aux ‘processus statistiques’ et aux ‘résultats statistiques’. Des méthodes particulières d'assurance de la qualité portent sur les domaines suivants : ‘activités de programmation et élaboration de nouvelles statistiques’, ‘protection de la confidentialité’, ‘collecte des données’, ‘compilation et analyse statistiques’, ‘accessibilité des données et politique de diffusion’, ‘contrôle et rapports’, ‘contrôle et amélioration de la satisfaction des intervenants clés’.
• Depuis 2005, le Comité de coordination des activités statistiques (CCAS) des Nations Unies a appuyé un projet portant sur l'utilisation et la convergence des CAQ pour les organismes internationaux, avec comme objectif de veiller à ce que leurs activités actuelles et futures liées à la qualité soient bien intégrées.

Commentez II.D. Cadres d'assurance de la qualité pour les organismes internationaux

E. Outils d'assurance de la qualité des BSN

Commentez II.E. Outils d'assurance de la qualité des BSN

30. Les divers BSN ont aussi élaboré de nombreux outils, politiques et normes d'assurance de la qualité à leurs propres fins. À Statistique Canada, par exemple, le Répertoire des méthodes d'évaluation des erreurs dans les recensements et les enquêtes a été produit en 1978, suivi par les Lignes directrices concernant la qualité (1985), le prolongement de la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie (1986), et la première version d'un Cadre d'assurance de la qualité (1997). Les Lignes directrices concernant la qualité ont par la suite été révisées en 1987, 1998 et 2003, et la cinquième révision est prévue pour 2009. Le Cadre d'assurance de la qualité a été révisé en 2002.

31. Au cours de la même période, de nombreux autres BSN ont participé à des initiatives similaires concernant la qualité, et plus particulièrement à la production de lignes directrices dans ce domaine. Parmi les exemples figurent les Guidelines for Measuring Statistical Quality de l'Office for National Statistics, les Quality Guidelines for Official Statistics du bureau de la statistique de la Finlande et le National Statistical Service Handbook de l'Australian Bureau of Statistics. Aux États Unis, les organismes statistiques ont dû se conformer aux 2001 Quality Guidelines et aux 2006 Standards and Guidelines for Statistical Surveys de l'Office of Management and Budget. La documentation sur la qualité en résultant comprend:

• les Guidelines for Informing Users of Information Quality and Methodology du Bureau of Labor Statistics;
• les Quality Standards and Quality Performance Principles du Census Bureau; et
• les Guidelines for Ensuring the Quality of Information Disseminated to the Public du National Center for Health Statistics.

32. Le Cadre d'assurance de la qualité de Statistique Canada est descriptif, du fait qu'il situe les politiques et pratiques existantes liées à la qualité dans un cadre commun, plutôt que d'imposer de nouvelles politiques ou pratiques. Il souligne que les diverses mesures décrites ne s'appliquent pas nécessairement uniformément à toutes les enquêtes et qu'il est du ressort des gestionnaires de déterminer les mesures appropriées. Il vise à servir de référence et à assurer la formation. En résumé, le document fournit un aperçu valable de ce qui pourrait être inclus dans un CNAQ générique. De plus amples détails figurent à l'annexe 1.

Commentez II.E. Outils d'assurance de la qualité des BSN

A. Avantages d'un CNAQ

Commentez III.A. Avantages d'un CNAQ

33. De nombreux BSN participent à une gamme exhaustive d'initiatives et d'activités liées à la qualité, mais sans un cadre général qui les met en contexte et qui leur explique les rapports entre cette dernière et les divers outils d'assurance de la qualité. C'est pourquoi certains BSN ont adopté la norme ISO 9000 sur les Systèmes de management de la qualité comme cadre pour leurs travaux dans ce domaine. Comme l'a démontré Statistique Canada, un CNAQ peut servir à cette fin et permet de regrouper toute la gamme de concepts, politiques et pratiques d'assurance de la qualité.

• Il fournit un mécanisme systématique pour la détermination et le règlement, sur une base permanente, des problèmes de qualité, en maximisant les interactions entre les employés du BSN.
• Il assure une plus grande transparence des processus d'assurance de la qualité et renforce l'image du BSN comme fournisseur crédible de statistiques de qualité.
• Il sert de base pour la création et le maintien d'une culture de la qualité. Il s'agit d'une source valable de documents de référence pour la formation.

34. La meilleure façon de mener le processus d'élaboration d'un CNAQ est par l'entremise d'un groupe de travail d'un BSN, qui compte des employés expérimentés qui proviennent d'une vaste gamme de secteurs - planification des programmes, conception d'enquêtes, opérations des enquêtes, diffusion, élaboration d'infrastructures et soutien. Ainsi, le processus d'élaboration comporte des avantages intrinsèques, étant donné qu'il oblige les employés à mettre en commun leurs disciplines respectives pour s'attaquer aux problèmes de qualité et élaborer les exigences.

35. L'établissement d'un modèle commun pour les diverses approches nationales faciliterait la communication concernant l'assurance de la qualité et mènerait à un consensus quant aux éléments à inclure dans un Cadre national d'assurance de la qualité.

Commentez III.A. Avantages d'un CNAQ

B. Portée d'un Cadre national d'assurance de la qualité

Commentez III.B. Portée d'un Cadre national d'assurance de la qualité

36. Il existe un niveau considérable de chevauchement, et même de confusion, entre les divers termes, comme gestion de la qualité, gestion de la qualité totale, système de gestion de la qualité, cadre d'assurance de la qualité, assurance de la qualité, lignes directrices concernant la qualité, évaluation de la qualité, mesure de la qualité, rapports de la qualité, etc. Le présent document part du principe qu'un cadre national d'assurance de la qualité (CNAQ) est:

• plus limité qu'un outil de gestion de la qualité totale, étant donné qu'il sera davantage axé sur la gestion de fonctions statistiques de base, plutôt que sur la gestion des ressources humaines et les communications;
• moins détaillé que les lignes directrices concernant la qualité, du fait qu'il résume les pratiques exemplaires plutôt que de les décrire;
• plus large que les lignes directrices concernant la qualité, du fait qu'il se rapporte aux mécanismes permettant la mise en œuvre de pratiques exemplaires et à l'environnement institutionnel; et
• destiné à peu près au même niveau organisationnel que le système de management de la qualité décrit dans la série ISO 9000, mais adapté au contexte particulier d'un bureau de statistique national (BSN), dont le rôle consiste à recueillir des données et à élaborer des produits statistiques.

37. Un CNAQ devrait porter non seulement sur les enquêtes individuelles, mais aussi sur le programme statistique complet et l'infrastructure qui le sous tend. Sa portée est illustrée dans la figure 1 et comporte des renvois aux éléments compris dans la gestion de la qualité totale et dans le Code de bonnes pratiques de la statistique européenne.

38. L'examen des politiques, modèles, procédures et lignes directrices concernant la qualité, qui est résumé à la section II, laisse supposer qu'un CNAQ comprendrait les éléments suivants:

• Contexte - le contexte dans lequel le document a été élaboré, son objectif et ses rapports avec d'autres politiques, cadres et procédures, y compris parfois des références ou une intégration à la mission, à la vision et aux valeurs du BSN;
• Politique concernant la qualité - bref énoncé des cadres supérieurs indiquant la nature et la portée de l'engagement en matière de gestion de la qualité;
• Modèle de qualité - définition de ce que l'on entend par qualité, élaborée du point de vue de la qualité des résultats et des aspects/composantes des processus;
• Objectifs, normes et lignes directrices concernant la qualité - objectifs cibles de qualité, ainsi que normes et lignes directrices internationales et locales adoptées par l'organisme;
• Méthodes d'assurance de la qualité - intégrées dans les processus de production dans la plus large mesure possible;
• Méthodes de mesure de la qualité - en incluant plus particulièrement un ensemble d'indicateurs de la qualité et du rendement, les méthodes de collecte des valeurs de données correspondantes étant intégrées dans les processus de production dans la plus large mesure possible;
• Méthodes d'évaluation de la qualité - parfois intégrées dans les méthodes d'assurance de la qualité, mais plus fréquemment assurées sur une base périodique, par exemple, à partir d'une liste de contrôle d'autoévaluation, comme la Liste de contrôle DESAP européenne;
• Méthodes d'amélioration de la qualité - initiatives d'amélioration continue et de réingénierie propres au BSN.

Commentez III.B. Portée d'un Cadre national d'assurance de la qualité

C. Élaboration d'un CNAQ générique

Commentez III.C. Élaboration d'un CNAQ générique

39. Les arguments en faveur de l'élaboration et de la promotion d'un CNAQ uniforme (générique) sont les suivants:

• il devrait inciter les BSN qui n'ont pas de cadre global d'assurance de la qualité à en adopter un;
• il devrait servir de base pour les BSN qui ont un tel cadre, en vue de trouver des façons de l'améliorer;
• il devrait servir à mettre en commun les bonnes pratiques; et
• il devrait réduire les coûts pour les BSN de la création et de la mise en œuvre d'un CNAQ.

Quelle est la meilleure façon d'élaborer un tel CNAQ générique?

40. Les Standards pour les rapports de qualité européens fournissent un exemple d'une norme relativement détaillée qui peut être appliquée par les BSN. Il est relativement facile d'imaginer un ensemble générique de lignes directrices concernant la qualité élaborées selon les mêmes principes. Toutefois, tandis que les normes pour les rapports de qualité et les lignes directrices concernant la qualité portent dans une large mesure sur les techniques statistiques, un CNAQ est davantage axé sur l'organisation d'un BSN et l'environnement dans lequel les techniques sont appliquées. L'organisation et le contexte organisationnel différeront probablement beaucoup plus qu'un ensemble de techniques statistiques d'un BSN à l'autre. Ainsi, comme le montrent les Guidelines for Implementation of QAFs for International Organisations Compiling Statistics d'Eurostat, il est assez difficile d'imaginer un CNAQ générique répondant à tous les besoins.

41. Il existe un objectif moins ambitieux et plus réaliste, celui de modèle de CNAQ qui fournit la structure générale à l'intérieur de laquelle les CNAQ individuels peuvent être élaborés. Le modèle peut être plus ou moins détaillé, selon la quantité d'éléments dont on peut raisonnablement présumer comme étant communs à tous les BSN. Pour être utile et pour ne pas imposer de fardeau additionnel aux BSN, un modèle générique devrait permettre à ces derniers de faire correspondre leurs approches en matière de qualité aux diverses rubriques. Une proposition de première ébauche pour un modèle générique est présentée à la figure 2, accompagnée par un modèle de mise en œuvre à la figure 3, qui est principalement axé sur les résultats, selon les aspects de la qualité des résultats principalement.

Commentez III.C. Élaboration d'un CNAQ générique