UNSD Document

Soulignons que la plupart des propriétés importantes des données statistiques ne sont pas évidentes aux yeux des utlisateurs si le BSN ne communique pas de renseignements supplémentaires (ou métadonnées). On ne peut pas déduire l'exactitude des données à partir uniquement des chiffres B on peut procéder à des comparaisons avec d'autres sources, mais le BSN, qui seul a accès aux micro-données sous-jacentes et qui a une connaissance directe des techniques utilisées, doit fournir des mesures de l'exactitude. La pertinence de l'information peut ne pas être évidente sans renseignements sur les classifications, les méthodes et les concepts sous-jacents utilisés. Il n'y a que la rapidité de diffusion et l'accessibilité de l'information qui puissent être directement observables par les utilisateurs.

Mentionnons également que la pertinence, l'accessibilité et la cohérence de l'information doivent habituellement être considérées en fonction d'un ensemble de produits d'un BSN, plutôt que pour chaque produit pris individuellement. La pertinence des données statistiques dépend des autres renseignements disponibles. C'est pourquoi il faut l'évaluer pour tout un programme. Par définition, on peut en dire autant de la cohérence. Comme la plupart des produits statistiques sont livrés par l'entremise d'un système de diffusion général, l'accessibilité de l'information relève en grande partie du BSN. En revanche, l'exactitude, la rapidité de diffusion et la possibilité d'interprétation de l'information peuvent être considérées comme des propriétés propres à chaque produit statistique, même si, là encore, les produits peuvent s'appuyer sur des approches ou des outils communs à tous les programmes.
Voyons maintenant la gestion de la qualité pour ce qui est de chacune des dimensions.

3. PERTINENCE

Pour que les données demeurent pertinentes, il faut demeurer en contact avec le vaste éventail d'utilisateurs d'information actuels et potentiels, non seulement pour suivre de près leurs besoins actuels, mais aussi pour prévoir leurs besoins futurs. Il est rare que les besoins en information soient formulés clairement en termes statistiques. Traduire l'expression d'intérêts pour des sujets particuliers en besoins d'information futurs constitue un défi de taille. La pertinence d'un ensemble de données dépend des autres ensembles de données disponibles à l'égard de secteurs d'intérêt connexes. C'est pourquoi il vaut mieux gérer et évaluer la pertinence des données au niveau d'un "programme de statistique" plutôt qu'à l'égard d'un ensemble de données individuelles.

Pour assurer la pertinence, il faut trois principaux processus: un processus de liaison avec les clients, un processus d'examen des programmes et un processus d'établissement des priorités. Ceux-ci sont décrits dans les trois prochaines sections et sont suivis à la section 3.4 d'une brève discussion sur la manière d'évaluer la performance en matière de pertinence.

3.1 Suivi des besoins des clients

Le BSN doit être doté d'un ensemble de mécanismes qui lui permettent de demeurer au courant des besoins en information actuels et futurs de ses principaux utilisateurs. Il doit s'agir notamment d'un ensemble de processus de consultation et de collecte de renseignements permettant au BSN d'être au fait des enjeux et des défis des principaux utilisateurs susceptibles d'engendrer des besoins en information nouveaux ou révisés. Mentionnons, à titre d'exemple, certains mécanismes utilisés par Statistique Canada (Fellegi 1996):

- un conseil de statistique national qui donne des conseils sur les politiques et les priorités des programmes de statistique;

- des comités consultatifs composés de spécialistes des principaux secteurs spécialisés;

- des ententes de liaisons bilatérales spéciales avec les principaux ministères du gouvernement fédéral;

- la participation du statisticien en chef aux discussions des sous-ministres sur les politiques et les programmes, y compris l'accès aux propositions aux ministres de manière à cerner les besoins en données statistiques implicites dans les décisions envisagées ou les nouveaux programmes;

- un conseil consultatif fédéral-provincial sur la politique en matière de statistique et des comités secondaires sur des sujets précis pour que les besoins en statistique des gouvernements provinciaux et territoriaux demeurent connus;

- des ententes fédérales-provinciales spéciales dans les secteurs de l'éducation, de la santé et de la justice pour la gestion du développement statistique dans les secteurs de compétences en grande partie provinciales;

- des rencontres avec les principales associations industrielles et associations de petites entreprises;

- de la rétroaction formulée par les utilisateurs et tirée des demandes de renseignements.

Ces mécanismes visent à cerner les lacunes de l'appareil statistique B l'information nécessaire aux utilisateurs qui n'est pas disponible ou qui n'est pas suffisamment fiable.

3.2 Examen du programme

Les mécanismes de liaison avec les clients qui sont décrits ci-dessus permettront d'obtenir de la rétroaction de la part des utilisateurs sur les programmes courants en plus de l'information sur les besoins nouveaux et futurs. Il faut cependant examiner les programmes de manière explicite et sur une base régulière pour évaluer si ceux-ci répondent aux besoins des utilisateurs, non seulement pour ce qui est des sujets traités, mais aussi en ce qui a trait à l'exactitude et à la rapidité de diffusion des données produites. Dans le cadre de tels examens, on utilise de l'information générée par les mécanismes habituels de liaison avec les clients, on peut aussi rassembler des données supplémentaires que certainement on intègre et on évalue en vue d'obtenir un tableau complet du degré de satisfaction des besoins des clients.

Une telle évaluation peut se faire de diverses façons. On peut recourir aux services d'un expert indépendant pour qu'il consulte les utilisateurs et recommande des changements à apporter aux programmes. Les programmes peuvent devoir recueillir et évaluer périodiquement les commentaires qu'ils reçoivent et rédiger un rapport énonçant les changements de programme possibles. On peut demander aux programmes d'identifier les sous-programmes les moins importants afin de les comparer à ceux qui recevront potentiellement des fonds dans le même programme ou ailleurs.

Le BSN peut mener des enquêtes sur le degré de satisfaction des utilisateurs portant sur diverses composantes du programme de statistique et surveiller les ventes ou l'utilisation des produits statistiques. Il peut aussi, par suite de ses propres travaux d'analyses d'intégration, cerner les lacunes des produits du BSN.

Toutes ces approches ont en commun de remettre en cause périodiquement, du moins en marge, l'existence continue des programmes courants. Elles contribuent à la définition des options en matière d'investissement, qu'il s'agisse du retrait des fonds investis dans certains programmes dépassés ou du réinvestissement dans des programmes qui ne répondent plus aux besoins des clients.

3.3 Établissement des priorités

En dernier lieu, il y a le processus qui consiste à tenir compte des données recueillies dans le cadre de consultations auprès des utilisateurs et de l'examen de programme pour y donner suite. Comme les demandes seront toujours supérieures aux fonds disponibles, il faut comparer en faisant preuve de jugement les divers besoins des différents groupes d'utilisateurs. Il faut également cerner les possibilités d'obtention de nouveaux fonds qui permettraient de répondre aux besoins en information hautement prioritaires et, du coup, de réduire la pression exercée sur les programmes en place pour récupérer des ressources à réinvestir ailleurs. À Statistique Canada, le cycle habituel de planification annuelle est au centre du processus. On peut décider d'investir dans des études de faisabilité en vue de combler les lacunes observées en matière de données, de fournir des capitaux de lancement pour montrer comment on peut produire les données à partir de fonds plus importants ou d'améliorer l'exactitude, la rapidité de diffusion de l'information ou l'efficacité des programmes existants. Le lancement d'importantes initiatives de collecte de données nécessite habituellement des ressources excédant ce qui est possible d'obtenir au moyen de la réaffectation interne. C'est pourquoi le cycle de planification est complété par des exercices périodiques visant à obtenir du soutien et du financement des principaux utilisateurs de données du gouvernement fédéral dans le but de combler les principales lacunes statistiques (Statistique Canada 1998b). On détermine les priorités en établissant un équilibre entre le besoin de changements et d'améliorations, d'une part, et la nécessité de répondre aux principales exigences permanentes du programme de base, d'autre part. Dans les faits, il y a peu de changements d'une année à l'autre comparativement à l'ensemble du programme.

3.4 Suivi de la performace

Il existe deux principaux types de mesures de la performance pour ce qui est de la pertinence. D'abord, des descriptions des mécanismes particuliers utilisés qui sont appuyées par des exemples, sinon par des mesures, de leur incidence montrent que les processus décrits ci-dessus sont en place. Par exemple, on peut évaluer le champ d'application des mécanismes de consultation en étudiant systématiquement chacun des principaux groupes de clients ou d'intervenants et en relevant les façons dont ils répondent à leurs besoins en données statistiques. Les rapports des délibérations ou des consultations témoignent de l'exécution de tels mécanismes. Du point de vue des programmes, on peut faire la preuve qu'il y a eu évaluation périodique de la pertinence des données de chaque programme et on peut évaluer l'incidence des résultats de ces évaluations.

Puis, on peut prouver directement que les données sont pertinentes selon l'utilisation qui en est faite, selon les résultats des sondages menés auprès des clients sur leur degré de satisfaction et par des exemples convaincants que les données statistiques ont influé sur d'importantes décisions stratégiques. Les ventes de produits et de services d'information sont un indicateur direct et convaincant de la pertinence des données. Les niveaux d'intérêt peuvent aussi être mesurés en fonction de l'utilisation des produits et des services gratuits, notamment les documents sur Internet. Cependant, l'incidence des prix sur l'utilisation peut être complexe et porter parfois à confusion. Le fait de signaler et de publier des nouveaux résultats d'analyse fondés sur des données du BSN qui élucident d'importantes questions d'intérêt public montre certainement que les données sont pertinentes. De façon générale, on peut affirmer que quand il y a régulièrement publication des résultats d'analyse dans une présentation lisible, les produits du BSN sont pertinents, surtout s'ils sont repris par la presse.

Enfin, les changements réels que le BSN apporte à ses programmes d'une année à l'autre montrent vraiment que ses processus de liaison avec les clients et d'établissement des priorités fonctionnent bien.

4. EXACTITUDE

Les processus dont il a été question pour la pertinence déterminent les programmes qui seront exécutés, leurs objectifs généraux et les paramètres en matière de ressources dont ils disposeront. Dans le cadre de ces paramètres, il faudra tout particulièrement s'assurer de l'exactitude des données au cours des trois principales étapes de l'enquête: la conception, la mise en oeuvre et l'évaluation.

4.1 Conception

Les paramètres généraux de programme ne définissent pas habituellement de cibles en ce qui concerne l'exactitude des données. Ils indiquent souvent les principales quantités à estimer et le niveau de détail voulu (par exemple, la région géographique et le secteur d'activité) des estimations, mais ce qu'on entend par données "exactes" demeure au mieux vague. Les paramètres n'abordent pas non plus la question des niveaux tolérables d'erreur non imputable à l'échantillonnage. De fait, compte tenu de la multiplicité des estimations et des analyses, planifiées et non planifiées, tirées de tout programme d'enquête, il serait impossible ou même inutile d'essayer de préciser, avant le début de la conception, des niveaux d'exactitude cibles quant aux données. Dans le cadre de la conception, on essaie de trouver le juste milieu entre l'exactitude et la rapidité de diffusion de l'information en fonction des contraintes budgétaires et du fardeau du répondant. Il faut envisager dans ce processus les diverses options en matière de niveaux d'exactitude à différents coûts à l'intérieur des paramètres généraux. Il résulte de l'étape de la conception des techniques d'enquête dans lesquelles sont souvent intégrées des cibles ou des hypothèses d'exactitude, du moins en ce qui concerne les principales estimations et dimensions. Par exemple, une enquête par sondages peut viser à atteindre un coefficient de variation de l'échantillonnage à l'égard de sa principale estimation qui soit en deçà d'un seuil donné au niveau provincial et supposer un taux de réponse qui ne soit pas inférieur à un niveau défini. Un modèle de recensement peut viser un taux de couverture global précis, sans que la couverture d'un sous-groupe important ne soit inférieure à un taux inférieur donné.

Il ne s'agit pas ici de décrire les techniques d'enquête qui donnent les meilleures conceptions B c'est l'objet des écrits sur les techniques d'enquête (la présente revue a abondamment traité de la question en 25 ans!). Nous voulons ici relever certaines des principales questions en matière de gestion que l'on doit envisager pour que les différents aspects de l'exactitude de l'information soient pris en compte durant la phase de la conception. Nous suggérons que la conception porte principalement sur huit aspects.

1. Considérer explicitement tous les compromis entre l'exactitude, les coûts, la rapidité de diffusion de l'information et le fardeau du répondant durant la phase de la conception. Le champ d'application et le niveau de détail de ces considérations dépendront de l'importance du programme et du nombre d'options en fonction des paramètres. Il faut toutefois montrer que les compromis ont suffisamment été pris en compte.

2. Considérer explicitement les sources alternatives de données, y compris les données existantes ou les dossiers administratifs disponibles, afin de réduire au minimum la collecte de nouvelles données. On vise ici à réduire le fardeau du répondant et à éviter les collectes inutiles.

3. Justifier chacune des questions posées et mettre à l'essai les questions et questionnaires. Les questions posées doivent suffire à atteindre les objectifs descriptifs et analytiques de l'enquête.

4. Évaluer la couverture de la population cible au moyen des bases de sondage envisagées.

5. Pour les compromis généraux, considérer les options en matière d'échantillonnage et d'estimation, de même que leur incidence sur l'exactitude, la rapidité de diffusion, les coûts, le fardeau de la réponse et les comparaisons de données sur une période de temps.

6. Appliquer des mesures visant à encourager la réponse, à suivre de près les cas de non-réponse et à composer avec les données manquantes.

7. Bien étudier la nécessité de processus d'assurance de la qualité à toutes les phases de la collecte et du traitement des données.

8. Procéder à des contrôles de la cohérence interne et externe des données et appliquer des mesures correctives correspondantes.

La preuve que l'on s'est sérieusement penché sur ces huit aspects, même s'ils n'englobent pas toutes les dimensions de la conception d'enquête et que le fait de les considérer ne permet pas forcément de prendre la meilleure décision, suggère fortement que la conception d'enquête est solide. En fin de compte, la force des techniques d'enquête repose sur le jugement des membres de l'équipe de conception. Cette liste d'éléments constitue toutefois un cadre qui permet d'exercer un jugement et qui fait en sorte que les principaux facteurs sont pris en compte. Smith (1995) et Linacre et Trewin (1993) illustrent la mise en équilibre de ces considérations en théorie et en pratique.

Ne fait pas partie de la liste un neuvième aspect à considérer: les évaluations inhérentes de l'exactitude. Il en sera question à la section 4.3.

4.2 Mise en oeuvre

Un bon modèle peut toutefois s'avérer médiocre au moment de la mise en oeuvre. Malgré les protections inhérentes à un bon modèle contre les erreurs de mise en oeuvre (les processus d'assurance de la qualité, par exemple), il peut toujours y avoir des complications. Du point de vue de la gestion, deux types de renseignements sont nécessaires à l'étape de la mise en oeuvre. Il faut d'abord des renseignements qui permettent de surveiller et de corriger en temps réel les problèmes qui surviennent au cours de la mise en oeuvre. À ce propos, les gestionnaires ont besoin d'un système d'information en temps opportun duquel ils obtiennent les renseignements voulus pour rajuster le tir ou pour corriger les situations difficiles pendant que l'enquête est en cours. Puis, il faut de l'information pour évaluer après coup si le modèle a été exécuté tel que prévu, si certains aspects du modèle ont posés des problèmes et les leçons tirées sur le plan opérationnel dans le but d'améliorer le modèle. Là encore, des renseignements doivent être consignés durant la mise en oeuvre (même s'il n'est pas nécessaire que cela se fasse aussi rapidement que dans le premier cas). Il peut toutefois s'agir de renseignements tirés d'études menées après le fait auprès des employés ayant participé à la mise en oeuvre ou de séances d'information à l'intention de ceux-ci.

Bien entendu, l'information se rapportant directement à l'exactitude ne constitue qu'une infime partie des données que requièrent les gestionnaires opérationnels. Précisons que les renseignements liés aux coûts et au choix du moment des opérations doivent tout autant être pris en considération pour les modèles utltérieurs.

4.3 Évaluation de l'exactitude

La troisième phase importante du processus d'enquête est l'évaluation de l'exactitude de l'information B dans quelle mesure les données sont exactes compte tenu de l'importance accordée à l'exactitude au cours de la conception et de la mise en oeuvre de l'enquête? Même si nous en parlons en dernier lieu, nous devons y voir au moment de la conception puisque pour mesurer l'exactitude il faut souvent consigner des données en cours d'enquête.

Comme il a été mentionné, l'exactitude est multidimentionnelle. Il faut choisir les indicateurs les plus importants qui s'appliquent à chaque enquête. Par ailleurs, mentionnons que chaque enquête produit des milliers d'estimations différentes. C'est pourquoi il faut élaborer des méthodes génériques qui indiquent l'exactitude d'un nombre considérable d'estimations ou restreindre les indicateurs à certaines estimations clés.

Comme pour le modèle, l'étendue et la sophistication des mesures d'évaluation de l'exactitude dépendront de l'importance du programme et de ce que l'on fait des estimations. Nous proposons ici quatre secteurs principaux d'évaluation de l'exactitude à considérer dans le cadre de toutes les enquêtes (Statistique Canada 1992). D'autres évaluations ou des évaluations plus détaillées peuvent être justifiées dans le cas d'enquêtes plus vastes ou plus importantes afin d'améliorer la possibilité d'interprétation des estimations, comme nous le verrons ci-dessous.

1. L'évaluation du champ d'observation de l'enquête par rapport à une population cible, quant à la population dans son ensemble et aux sous-populations importantes. Cela peut vouloir dire qu'il faille évaluer l'échantillonnage sur liste (par exemple, un registre des entreprises par secteur d'activité), la couverture d'un recensement qui vise à dresser la liste d'une population (par exemple, le champ d'un recensement de la population par province ou selon l'âge et le sexe) ou le champ d'observation d'une enquête par échantillons aréolaires comparativement à des estimations indépendantes de la population cible (par exemple, l'écart entre des estimations de la population fondées sur des échantillons et tirées d'une enquête auprès des ménages et des estimations officielles de la population).

2. L'évaluation de l'erreur d'échantillonnage dans les cas où des échantillons ont été utilisés. Il faudrait préciser les erreurs-types ou les coefficients de variation à l'égard des estimations clés, de même que les méthodes servant à dériver les erreurs-types approximatives pour les estimations non accompagnées des erreurs-types explicites.

3. Les taux de non-réponse ou les pourcentages des estimations théoriques. Il s'agit d'indiquer dans quelle mesure les estimations sont composées de données "fabriquées". Pour les populations asymétriques (comme la plupart des populations constituées d'entreprises), les taux de non-réponse ou les taux d'imputation pondérés selon leur taille permettent habituellement d'obtenir plus de renseignements que les taux non pondérés.

4. Tout autre problème grave d'exactitude ou de cohérence des résultats d'enquête. Il peut y avoir eu des complications à l'égard d'un aspect particulier d'une enquête, ce qui fait que les résultats doivent être utilisés avec circonspection. Par exemple, une question généralement mal comprise peut conduire à des estimations trompeuses pour une variable donnée. On peut aussi relever des incohérences importantes entre les résultats et d'autres séries comparables.

Les efforts à investir dans la mesure de l'exactitude sont une décision de gestion qui doit être prise compte tenu des compromis habituels lors de la conception d'enquête. Mais parce qu'on exige qu'il y ait, au minimum, des renseignements sur ces quatre aspects de l'exactitude pour tous les programmes, on s'assure que le BSN se soucie de l'évaluation de l'exactitude. Les renseignements constituent également une base à partir de laquelle on peut contrôler des indicateurs d'exactitude clés à l'échelle du bureau. Par exemple, quand on suit de près les tendances des taux de réponse dans les enquêtes semblables, on obtient des renseignements de gestion précieux sur les nouveaux courants chez les répondants ou sur les difficultés qui se sont posées dans certaines enquêtes. En mesurant de façon régulière comme d'habitude la couverture des principaux cadres d'enquête, comme un registre des entreprises ou un registre d'adresse, on peut aussi obtenir des données utiles aux programmes individuels qui utilisent ces cadres et à la direction du BSN. À la section 7 sur la possibilité d'interprétation de l'information, vous trouverez des précisions sur la communication aux utilisateurs de renseignements sur l'exactitude.

5.RAPIDITÉ DE DIFFUSION DE L'INFORMATION

Par rapidité de diffusion de l'information, on entend la durée entre le point de référence ou la fin de la période de référence à laquelle l'information se rapporte et le moment où les utilisateurs peuvent la consulter. Comme nous l'avons vu, la rapidité à laquelle l'information doit être diffusée est définie selon la pertinence de l'information B pendant combien de temps l'information demeure-t-elle utile? La réponse à cette question varie selon l'évolution du phénomène observé, selon la fréquence de la mesure du phénomène et selon la rapidité avec laquelle les utilisateurs réagissent aux derniers renseignements qui leur sont communiqués. Comme nous l'avons également vu, la rapidité de diffusion de l'information planifiée est une décision de conception qui se fonde souvent sur les compromis quant à l'exactitude B est-il préférable d'avoir des données plus exactes mais plus tard que d'avoir des données moins exactes plus tôt? B et sur les coûts. Une diffusion plus rapide de l'information n'est pas par conséquent un objectif inconditionnel. Pourtant la rapidité de diffusion de l'information est une caractéristique importante qu'il faudrait suivre de près sur une période donnée pour qu'elle demeure intacte et surveiller dans tous les programmes pour relever les cas de lenteur extrême. Les attentes des utilisateurs quant à la rapidité augmenteront vraisemblablement au fur et à mesure où ils s'habitueront à obtenir sur le champ des services de toutes sortes parce que les effets de la technologie se seront faits sentir un peu partout. Contrairement à l'exactitude, les utilisateurs peuvent, sans aucun doute, évaluer directement la rapidité de diffusion de l'information, même si le BSN ne le fait pas.

Comme il a été mentionné pour l'exactitude, les BSN doivent absolument gérés la rapidité de diffusion de l'information en tenant compte explicitement des compromis conceptuels. De même, les mesures décrites ci-dessus pour ce qui est de la mise en oeuvre (voir la section 4.2) contribuent considérablement à l'atteinte des objectifs prévus en matière de rapidité. La gestion de la rapidité doit toutefois s'appuyer sur d'autres mesures.

Les dates de diffusion des principales publications devraient être annoncées longtemps à l'avance. Ainsi les utilisateurs auraient le temps de planifier leurs affaires, il y aurait une discipline à l'interne et surtout les parties intéressées ne pourraient pas influer indûment sur une publication ou en retarder la diffusion dans leurs propres intérêts. Le respect des dates de diffusion prévues constitue une mesure de la performance de la rapidité de diffusion de l'information. Il faut également surveiller les changements des dates de diffusion prévues à plus long terme.

Pour que les données soient diffusées plus rapidement, certains programmes diffusent d'abord des données provisoires puis publient des chiffres révisés et définitifs. On peut alors évaluer la pertinence du compromis entre la rapiité de diffusion et l'exactitude de l'information d'après l'importance et l'orientation des révisions. On peut de la même façon déceler tout biais répété ou prévisible dans les données provisoires que l'estimation peut éliminer.

En ce qui concerne les enquêtes spéciales et les nouvelles enquêtes, la rapidité de diffusion peut se mesurer par le temps qui s'écoule entre la décision de mener l'enquête et la date de diffusion des résultats. Cette mesure traduit la réceptivité du bureau quant à la planification et à la mise sur pied d'une enquête, et à son exécution après la date de référence. L'interprétation de la rapidité de diffusion doit toutefois s'appuyer sur d'autres facteurs qui permettent de déterminer la rapidité à laquelle une nouvelle enquête doit être mise sur pied B le plus rapidement n'est pas toujours la meilleure solution.
Quant aux programmes qui offrent des services personnalisés d'extraction de données, la rapidité de diffusion de l'information peut être mesurée convenablement en fonction du temps écoulé entre la réception d'une demande claire et la communication (ou livraison) de l'information au client. Des normes devraient s'appliquer à de tels services, et le respect de celles-ci devrait être surveillé.

6. ACCESSIBILITÉ

Les renseignements statistiques que les utilisateurs ignorent, sont incapables de repérer, ne peuvent pas se permettre ou auxquels ils n'ont pas accès ne leur sont pas très utiles. Par accessibilité de l'information, on entend la facilité avec laquelle les utilisateurs peuvent savoir que l'information existe, la repérer et l'importer dans leur environnement de travail. L'accessibilité est largement établie par des politiques de diffusion et des systèmes de livraison à l'échelle du bureau. Au niveau du programme, il s'agit principalement de choisir les systèmes de livraison appropriés et de s'assurer que les produits statistiques se trouvent dans les systèmes de catalogue du bureau.

La gestion de l'accessibilité doit donc porter sur quatre principaux aspects. Il faut d'abord des systèmes généraux de catalogue bien intégrés qui permettent aux utilisateurs de connaître les données disponibles et de les repérer. Puis, il faut des systèmes généraux de livraison qui donnent accès à l'information au moyen de canaux de distribution dans des présentations qui conviennent aux utilisateurs. Il faut aussi que soient gérées la couverture des données statistiques des programmes qui sont versées dans les systèmes de catalogue du bureau et l'utilisation que chaque programme de statistique fait des systèmes de livraison appropriés (du bureau ou, dans certains cas, du programme). Enfin, on doit pouvoir évaluer le degré de satisfaction de l'utilisateur quant aux systèmes de catalogue et de livraison ou l'utilisation de ceux-ci dans le but d'y donner suite.

Compte tenu des nombreux changements technologiques, les systèmes de catalogue et de livraison évoluent rapidement. Le traditionnel catalogue imprimé qui n'était presque jamais à jour a cédé sa place aux catalogues en direct des produits statistiques, en version imprimée ou en version électronique, liés aux bases de métadonnées dans lesquelles on peut trouver les caractéristiques de l'information. Le thesaurus au moyen duquel les utilisateurs trouvent l'information voulue sans la terminologie précise du BSN est une autre composante essentielle d'un système de catalogue. On peut avoir accès au catalogue sur Internet et commander l'information voulue immédiatement. Le catalogue du BSN doit absolument conclure des ententes avec les systèmes bibliographiques externes de manière à ce que les utilisateurs qui font des recherches à l'extérieur du BSN puissent y avoir accès.

À part le catalogue, source de données structurée et exhaustive, on peut connaître l'information disponible à partir de deux autres points d'entrée. Le mécanisme officiel de diffusion du BSN dans lequel sont annoncées toutes les données nouvellement disponibles, Le Quotidien, dans le cas de Statistique Canada, peut fournir des liens aux entrées de catalogue des produits connexes et aux sources de données plus détaillées et aux métadonnées. Les statistiques que le BSN présente sur son site Internet, Statistiques canadiennes dans le cas de Statistique Canada, peuvent aussi comprendre des liens semblables à des renseignements et des métadonnées connexes. Même si, dans de nombreux BSN, ces composantes ne sont pas encore pleinement opérationnelles et intégrées, c'est la voie que devrait prendre les systèmes de catalogue dans un avenir proche.

Internet est en train de transformer les systèmes de livraison: il sera certainement le point d'entrée privilégié de tels systèmes pour la période qui vient. Le système de livraison conventionnel des imprimés demeure pourtant encore prisé par de nombreux utilisateurs, alors que les produits électroniques sur disquette ou CD-ROM satisfont certains besoins. Les bases de données en direct continuent d'être au coeur des systèmes de livraison d'information des BSN, qu'elles soient accessibles sur Internet ou en direct. Dans ce tourbillon à haute technologie, le BSN doit veiller à ce que les médias, les bibliothèques publiques et Internet continuent de répondre aux besoins du public en information. Les besoins particuliers des analystes qui doivent avoir accès à des microdonnées posent un certains nombre d'importants défis qu'ont relevés plusieurs BSN (voir le CRSH et Statistique Canada 1998 par exemple), mais que nous n'aborderons pas ici.

De plus en plus, les organisations à l'extérieur du BSN, tant dans le secteur public que dans le secteur privé, jouent un rôle important pour ce qui est de l'accessibilité accrue à l'information produite par le BSN. Ces organisations peuvent agir simplement comme distributeurs des données ou peuvent ajouter un contexte ou une valeur aux données du BSN en les intégrant à d'autres renseignements ou en les utilisant à d'autres fins qu'aux fins du BSN. Pour que l'accès aux données soit à son maximum, le BSN doit saisir les occasions de partenariat avec de telles organisations tout en s'assurant d'être reconnu comme source des données et, s'il y a lieu, d'encourager le renvoi aux sources de données initiales, habituellement plus détaillées, du BSN.

Un aspect important de l'accessibilité de l'information est la politique d'établissement des prix qui régit la diffusion. Même si les BSN ont de l'argent, les ressources demeurent limitées. De plus, le libre accès sans restrictions à toutes les données potentielles n'est pas une solution envisageable. Ce n'est même pas non plus une solution souhaitable parce que cela nous empêcherait de connaître les besoins réels des utilisateurs. Une politique d'établissement des prix doit établir un équilibre entre l'accessibilité sans frais à certaines données de base d'intérêt public et le recouvrement des coûts à l'égard de certains produits, de renseignements détaillés et de demandes spéciales. Une telle politique peut promouvoir l'accessibilité, fournir une source précieuse d'information sur la pertinence des données et faire en sorte que les ressources du BSN sont bien équilibrés entre la collecte et le traitement de nouvelles données, d'une part, et l'exécution des demandes d'information à partir des données existantes, d'autre part.

Il faut veiller à ce qu'aucune erreur ne se glisse en transférant l'information des programmes de statistique aux utilisateurs. À cette dernière étape du processus, de mauvais renseignements peuvent être chargés dans les bases de données électroniques, la mauvaise version des tableaux peut être publiée et de mauvais renseignements peuvent être donnés au téléphone. Comme de telles erreurs sont susceptibles d'avoir lieu à l'étape de la livraison, nous avons décidé d'en parler à la section qui porte sur l'accessibilité plutôt qu'à celle qui porte sur l'exactitude. Les systèmes d'assurance de la qualité qui réduisent la possibilité de telles erreurs sont essentiels.

Il faut absolument de manière systématique savoir ce que pensent les utilisateurs des systèmes de catalogue et de livraison puisqu'ils sont les principaux juges de l'accessibilité des données. La rétroaction des utilisateurs peut provenir a) de statistiques automatisées sur l'utilisation des diverses composantes des systèmes, b) d'enquêtes sur le degré de satisfaction des utilisateurs quant à des produits, services ou systèmes de livraison, ou il peut s'agir c) de commentaires, de suggestions, de plaintes ou de témoignages d'approbation librement exprimés par les utilisateurs.

On peut trouver des descriptions des systèmes de catalogue et de livraison dont se servent certains BSN dans Podehl

(1999), Boyko (1999) et en visitant les sites Web de certains BSN.

7. POSSIBILITÉ D'INTERPRÉTATION

Les données statistiques que les utilisateurs ne peuvent pas comprendre ou peuvent comprendre de travers n'ont aucune valeur et peuvent avoir une valeur négative. C'est pourquoi le BSN est tenu de fournir sufffisamment de renseignements pour que les utilisateurs puissent bien interpréter les données statistiques. On appelle l'information sur les données de la métainformation ou des métadonnées. La gestion de la possibilité d'interprétation porte principalement sur la communication de métadonnées.

L'information nécessaire à la compréhension des données statistiques est regroupée en trois grandes catégories: a) les concepts et les classifications à la base des données; b) les techniques de collecte et de rassemblement des données et c) les mesures de l'exactitude des données. En gros, ces trois catégories portent respectivement sur les éléments mesurés, la méthode utilisée et les résultats obtenus. Il est clair que les utilisateurs doivent connaître les éléments mesurés (afin d'en évaluer la pertinence par rapport à leurs besoins), la méthode d'évaluation utilisée (pour que des méthodes analytiques appropriées soient utilisées) et savoir dans quelle mesure les résultats sont fiables (pour avoir confiance dans les résultats). Comme il est rare que l'on puisse fournir un profil de toutes les dimensions de l'exactitude, la description des techniques est un autre indicateur de l'exactitude B l'utilisateur peut évaluer, à sa guise, si les méthodes utilisées étaient scientifiques, objectives et appliquées avec discernement. Dans chacune de ces catégories, on peut ajouter des listes de sujets plus détaillés (Statistique Canada 1992).

Il y a des relations étroites entre ces trois catégories et d'autres dimensions de la qualité. Les classifications et concepts sous-jacents utilisés déterminent aussi en grande partie la cohérence des données (voir la section suivante). En outre, les métadonnées devraient permettre d'établir dans quelle mesure les classifications et les concepts sont conformes aux normes nationales et internationales. Les classifications et les concepts sont également importants pour les systèmes qui permettent aux utilisateurs de repérer l'information disponible, comme il est décrit à la section 6 sur l'accessibilité. La description des techniques traduira le genre de décisions en matière de conception dont il est question à la section 4.1 sur l'exactitude. L'utilisation des méthodes et des outils communs sera abordée à la section 8 sur la cohérence. Les mesures de l'exactitude devraient correspondre aux considérations énoncées à la section 4.3.

Prétendre que l'information éclairant les données statistiques doit être compréhensible relève de la tautologie. Le BSN doit s'efforcer de communiquer de l'information dans la langue de l'utilisateur et non pas dans un jargon interne.

Autrement, l'utilisateur ne pourra toujours pas interpréter les données statistiques.
Pour gérer la dimension de la qualité qui consiste en la possibilité d'interprétation de l'information, nous suggérons de s'appuyer sur trois éléments. Le premier élément consisterait en une politique visant à communiquer aux utilisateurs l'information de base dont ils ont besoin pour interpréter les données. Cette politique prévoirait pour chaque diffusion de données l'information à divulguer et la forme qu'elle aurait. Le deuxième élément serait une base intégrée de métadonnées renfermant l'information nécessaire à la description de chacune des collections de données du BSN. Cette base de métadonnées type comprendrait plus de données que ce que prévoit la politique. En dernier lieu, il faudrait que le BSN interprète directement les données. Chaque diffusion importante de données devrait être accompagnée de commentaires sur les principaux messages véhiculés. Ainsi, et surtout si les commentaires s'adressent aux médias, le premier niveau d'interprétation du public a de fortes chances d'être juste. Inversement, le BSN devrait, dans les cas graves, réfuter les mauvaises interprétations de ses données et donner des explications.

Au niveau de la possibilité d'interprétation de l'information B et c'est peut-être par rapport à la seule dimension de la qualité B le BSN devrait en faire plus que ce que réclame l'utilisateur. La communication de métadonnées vise à éduquer l'utilisateur. Faire passer le message que toutes les données doivent être utilisées à bon escient et communiquer l'information nécessaire à l'utilisation des données avec discernement est une responsabilité du BSN qui va au-delà de la simple divulgation des données dont l'utilisateur a besoin.

Pour évaluer le succès de la possibilité d'interprétation de l'information, il faut déterminer dans quelle mesure la politique proposée ci-dessus est observée et obtenir la rétroaction des utilisateurs sur l'utilité et le caractère adéquat des métadonnées et de l'analyse fournies.

8. COHÉRENCE

Par cohérence des données statistiques, on entend la cohérence entre divers éléments de données se rapportant à la même unité de temps, la cohérence entre les mêmes éléments de données se rapportant à diverses unités de temps et la cohérence au niveau international. Les outils de gestion de la cohérence au sein d'un BSN concernent trois principaux éléments.

Il faut d'abord élaborer et utiliser des cadres, des concepts, des variables et des classifications types à l'égard de tous les sujets spécialisés que le BSN mesure. Ainsi, dans tous les programmes, la cible de la mesure est uniforme, la terminologie est la même (ce qui fait que, par exemple, le "niveau d'instruction" a la même signification dans un recensement de la population que dans un dossier scolaire), et les quantités à estimer ont des liens connus entre elles. On y arrive habituellement en adoptant et en utilisant des cadres comme le système des comptes nationaux et les systèmes de classifications types s'appliquant à toutes les principales variables. La comparaison sur le plan international se fait en vérifiant si les normes adoptées sont conformes aux normes internationales, quand il y en a. Il faut des politiques qui définissent les responsabilités des programmes pour que la production des données se fasse selon les normes adoptées.

Le deuxième élément vise à garantir que le processus de mesure n'entraîne pas d'incohérences entre les sources de données même quand les quantités à mesurer sont définies avec uniformité. L'élaboration et l'utilisation de bases de sondage, techniques et systèmes communs de collecte et de traitement de données contribuent à l'atteinte de cet objectif. Mentionnons, à titre d'exemple, que l'utilisation d'un registre commun des entreprises pour les enquêtes menées auprès des entreprises permet d'éviter que les différents champs d'enquête n'entraînent d'incohérences dans les données (on utilise un registre commun pour d'autres raisons aussi); que le recours aux questions les plus fréquemment posées quand les mêmes variables sont recueillies dans diverses enquêtes permet de réduire les différences attribuables aux erreurs dans la réponse; que l'utilisation des mêmes techniques et systèmes aux diverses étapes de traitement d'une enquête, surtout aux étapes de la révision et de l'imputation, contribue à ce qu'il n'y ait pas de faux écarts dans les données. Tous ces arguments s'appliquent à toutes les étapes d'une enquête particulière, de même qu'à toutes les enquêtes.

Dans le cas des deux premiers éléments, nous tentons d'éviter que des incohérences ne se glissent lors de la conception ou de la mise en oeuvre des programmes de statistique. Le troisième élément porte sur les résultats d'une telle tentative et met l'accent sur la comparaison et l'intégration de données de différentes sources. En ce qui concerne l'intégration, certaines activités sont des activités habituelles et de routine, comme l'intégration de données dans les comptes nationaux, l'étalonnage ou le calage des estimations pour en faire des totaux de contrôle plus fiables, la désaisonnalisation des données pour en faciliter les comparaisons temporelles. D'autres activités sont plus exploratoires et spéciales. Il faut souvent confronter les données de diverses sources, les rapprocher ou en expliquer les différences dans le cadre d'un examen avant diffusion ou de l'authentification des données à publier. L'analyse de la cohérence repose également en grande partie sur les problèmes de cohérence soulevés par les utilisateurs externes et les analystes de données. Certaines incohérences ne sont perceptibles qu'avec le passage du temps et peuvent mener à des révisions historiques des données.

Pour évaluer dans quelle mesure les données sont cohérentes, on peut définir trois grands ensembles de mesures correspondant aux trois éléments décrits ci-dessus. Il s'agit de l'existence et du niveau d'utilisation des cadres de référence de variables et de systèmes de classification types; de l'existence et du niveau d'utilisation des mêmes techniques et outils pour la conception et la mise en oeuvre des enquêtes; de la fréquence et de l'importance des incohérences dans les données publiées. Dans cette dernière catégorie, on peut inclure, par exemple, le suivi de l'erreur résiduelle des comptes nationaux, de l'erreur en fin de période dans l'estimation de la population ou de l'importance des ajustements d'étalonnage dans les principales enquêtes.

9. MÉCANISMES GÉNÉRAUX

Dans le cadre de l'examen de chacune des dimensions de la qualité, nous avons défini des mécanismes qui sont, à notre avis, très utiles à la gestion de la qualité dans un BSN. Pour certains de ces mécanismes, chacun des programmes de statistique au sein du BSN doit prendre ou respecter des mesures. À l'égard d'autres mécanismes, les programmes doivent utiliser des systèmes généraux ou y contribuer. Dans cette section, nous dégageons ce que nous considérons comme étant les cinq principales composantes ou sous-systèmes d'un appareil de gestion de la qualité dans un BSN.

Le sous-système de liaison avec les utilisateurs consiste en la série de mécanismes qui permettent au BSN de demeurer en contact avec ses principaux groupes d'utilisateurs. Il renferme des renseignements sur les besoins en information actuels et prévus et sur la justesse des produits courants, ainsi que des conseils sur les priorités. Il joue un rôle déterminant en ce qui a trait à la pertinence des produits du BSN.

À partir de l'information provenant du système de liaison avec les utilisateurs, de même que des évaluations et connaissances internes des forces et des faiblesses des programmes, le sous-système général de planification détermine les réductions ou les investissements à faire quant aux programmes. Il établit les paramètres pour tous les programmes et, du coup, a des répercussions directes sur la pertinence, l'exactitude et la rapidité de diffusion de l'information des programmes de statistique. Par l'entremise de ses décisions de financement à l'égard des programmes d'infrastructure, il influe aussi directement sur l'accessibilité, la possibilité d'interprétation et la cohérence des produits statistiques. Il est supervisé par le comité de la haute direction du BSN. Les décisions en matière de financement se prennent en fonction d'un solide système de rapports des coûts renfermant les coûts exacts des composantes des programmes de statistique.

Le sous-système des techniques et des normes établit les politiques et les lignes directrices qui régissent la conception et la mise en oeuvre des programmes de statistique, y compris les normes quant au contenu et à la documentation, ainsi que les normes concernant les techniques et les systèmes utilisés. Le sous-système est essentiel à la cohérence et à la possibilité d'interprétation des produits de statistique, de même qu'à l'exactitude et à la rapidité de diffusion optimales de l'information dans les programmes. Il est géré par un comité de gestion composé de représentants de la haute direction du BSN.

Le sous-système de diffusion établit les politiques et les lignes directrices, et met en place les systèmes généraux concernant la livraison de l'information aux utilisateurs. Cela comprend la gestion et la livraison des métadonnées dont les utilisateurs ont besoin pour repérer les collections de données du BSN et y accéder. Il s'agit du principal facteur déterminant de l'accessibilité et de la possibilité d'interprétation des données du BSN. Sa gestion doit aussi être assumée par des représentants de la haute direction du BSN.

Le dernier mécanisme, mais non le moindre, est le sous-système de rapports des programmes. Peu importe l'accent que met le bureau sur la qualité, c'est au niveau des programmes de statistique que la qualité des produits est définie. Conformément aux contraintes et aux politiques et lignes directrices générales, les programmes doivent faire des compromis et prendre des décisions éclairées qui influeront sur la qualité à tous points de vue. Dans le cadre des programmes, l'évaluation et l'analyse des données constituent une première évaluation du degré d'exactitude et de cohérence de l'information. Ce sont les programmes qui doivent rendre compte aux utilisateurs de l'exactitude et de la rapidité de diffusion de l'information. Des rapports de programme présentés à la direction à intervalles réguliers sur les diverses dimensions de la qualité procurent à la direction non seulement des renseignements essentiels au suivi courant, mais surtout des renseignements contribuant à la planification générale, donc facilitant les décisions quant aux futurs investissements.

Le diagramme 1 donne un aperçu des relations entre les cinq sous-systèmes ou fonctions principales nécessaires à la gestion de la qualité dans un BSN. Les sous-systèmes ne sont pas des unités organisationnelles. En fait, compte tenu de la nature de la plupart d'entre eux, des représentants de toutes les disciplines au BSN doivent participer à l'établissement d'un consensus général sur les politiques et les normes appropriées à respecter.

Le diagramme ne présente pas le rôle crucial que les employés jouent dans tous ces sous-systèmes. Les BSN dépendent fortement d'un cadre solide de travailleurs compétents dans diverses disciplines. Comme nous l'avons vu, il faut de l'expertise et du jugement pour de nombreux aspects de la conception, de l'analyse et de l'évaluation des programmes de statistique. Toutes les phases des programmes de statistique doivent être exécutées par des employés compétents soucieux de la qualité de l'information. Nous devrions envisager qu'un sous-système des ressources humaines encadre les sous-systèmes décrits ci-dessus pour que les BSN disposent en tout temps d'employés bien formés, motivés et polyvalents capables de relever les défis auxquels doivent faire face les BSN. Il faut en particulier que les sous-systèmes soient conscients qu'il est important de gérer toutes les dimensions de la qualité pour que les besoins des clients soient satifsfaits. Consultez Statistique Canada (1997) pour des renseignements sur une approche quant à un sous-système des ressources humaines.