Surveiller le rendement d'un Institut national de la statistique (INS)
Ivan P. Fellegi et Gordon J. Brackstone
Statistique Canada [Annotation 1: Préparé pour la séance plénière de la Conférence des statisticiens européens, juin 1999.]
1. Introduction
En tant qu'instituts nationaux de la statistique, nous nous enorgueillissons de pouvoir surveiller le rendement de nos pays, avec toutes les subtilités et les interdépendances que cela comporte. Il serait vraiment ironique que nous ne réussissions pas à surveiller efficacement notre propre rendement. Pourtant, il est facile de sous-estimer l'importance de la surveillance du rendement pour un INS, de considérer les rapports sur le rendement comme un fardeau administratif nécessaire mais fastidieux, et de ne pas accorder la même considération et la même attention à la mesure du rendement qu'aux défis en matière de mesure que posent nos économies et nos sociétés. Dans le présent document, nous examinons les objectifs de la surveillance du rendement pour un INS et des moyens d'atteindre ces objectifs. Nous insistons sur la nécessité de disposer d’un système intégré de surveillance du rendement sur lequel repose toute série plus restreinte d'indicateurs de rendement qui peuvent être requis ou produits. Dans le présent document, nous mettons l’accent sur la surveillance et la gestion du rendement à long terme et non sur la gestion des opérations quotidiennes dans le cadre de programmes individuels.
2. Objectifs et raison d’être
La conception de tout programme de mesure doit reposer sur des objectifs et une raison d'être. Pour quelles raisons la mesure du rendement est-elle nécessaire? Qui utilisera les résultats et à quelles fins? Comme pour la mesure du rendement d'une économie nationale, il n'y a pas qu'une seule réponse ou des réponses simples à ce genre de questions. Le rendement d'un INS est une notion multidimensionnelle et différents auditoires s'intéressent à différentes dimensions de ce rendement. À titre d'exemple, le Trésor peut s'intéresser au rendement financier, les utilisateurs peuvent être intéressés par la qualité des produits et le milieu des affaires s'intéressera au fardeau du répondant. Des indicateurs de rendement individuels peuvent s'avérer utiles à des fins particulières mais reflètent inévitablement un point de vue unidimensionnel de l'INS. Nous soutiendrons, premièrement, que la conception d'un processus de mesure du rendement devrait être holistique et axée principalement sur les besoins de l'INS lui-même et, deuxièmement, que la conception du processus lui-même est tout aussi importante que tout ensemble particulier "d'indicateurs".
Il est fondamental que la direction de l'INS connaisse son propre rendement avant de prendre presque toutes les décisions ou d'arrêter tous les choix qu'elle doit faire. Sans cette connaissance, nous manquons d'éléments pour décider à quel endroit il faut apporter des modifications et à quel endroit il faut investir, que ce soit à l'échelle de l'organisation ou au niveau des programmes individuels. Nous invoquons nous-mêmes des arguments similaires lorsque nous soulignons la nécessité de disposer d'une base de statistique fiable pour administrer les affaires d'un pays. Par conséquent, les besoins en matière d'information de gestion de l'INS devraient constituer les principaux éléments déterminant quels types d'information sur le rendement sont recueillies et utilisées. Si on dispose de données adéquates à des fins de gestion, il y a de fortes chances que tous les autres besoins soient également satisfaits.
Néanmoins, les auditoires externes en ce qui concerne l'information sur le rendement sont également très importants et exercent bien souvent une influence mais, comme nous l'avons mentionné, leurs intérêts se limitent habituellement à des dimensions particulières du rendement. Il s'agirait vraiment d'une situation inhabituelle si l'un de ces intérêts particuliers ne constituait pas un sous-ensemble de ce qui intéresse la direction renseignée d'un INS, mais des intérêts externes étranges peuvent parfois se manifester! Quoi qu'il en soit, la direction de l'INS qui s'intéresse à toutes les dimensions du rendement peut garantir que le système d'information sur le rendement qu'elle met en place produit les indicateurs particuliers que demandent les auditoires externes. On évite ainsi le dédoublement et même le manque d'incohérence lorsque différents services de l'INS participent à la production de rapports sur des indicateurs connexes destinés à différents auditoires.
L'intégration d’indicateurs particuliers dans un processus global d'évaluation du rendement offre un deuxième avantage important. Elle permet à l'INS de placer en contexte tout indicateur de rendement unidimensionnel pour lequel on demande, ou on choisit, de produire un rapport. Il existe bel et bien un risque de fausse interprétation d'indicateurs isolés et un contexte permettant d'expliquer les changements qui se produisent dans un indicateur individuel constitue une aide précieuse. À titre d'exemple, un accroissement du nombre d'erreurs d'échantillonnage pourrait découler d'une décision délibérée de réduire la taille de l'échantillon en vue de consacrer plus de ressources au suivi de non-réponse. Les vérificateurs contrôlant uniquement les erreurs d'échantillonnage et les taux de réponses obtiendraient des images très différentes du rendement. Ce même contexte peut également neutraliser les effets de distorsion d'un syndrome de "la gestion par indicateur" selon lequel tous les efforts sont consacrés à la maximisation d'un indicateur en particulier sans tenir compte de l'incidence sur les autres indicateurs.
Pour toutes ces raisons, nous prétendons que les besoins en matière d'information de gestion de l'INS devraient constituer le principal élément permettant de déterminer quelles mesures de rendement devraient être mises en place. Se doter soi-même d'un système intégré et crédible d'évaluation du rendement est de beaucoup préférable à une accumulation par réaction d'indicateurs arbitraires imposés à l'INS à différents moments et par divers organismes.
De peur de laisser une impression que seuls les besoins de l'INS importent, nous devrions mentionner que l'évaluation de l'information sur le rendement ne constitue pas une activité facultative pour l'INS. À part les exigences imposées par la loi ou les autres exigences, il existe une responsabilité morale en matière de rapports concernant les dimensions du rendement qui ne sont pas évidentes de l'extérieur de l'INS. Certains aspects du rendement (p. ex., l'actualité, le rendement financier, la pertinence) peuvent être évidents pour des gens de l'extérieur grâce à l'observation ou à la consultation de documents publics, mais d'autres aspects (tout particulièrement de nombreux aspects de la qualité des données) ne le sont pas, à moins que l'INS ne les fasse connaître. L'INS doit fournir à ses utilisateurs de l'information sur la qualité des données et la méthodologie, qu'il admette ou non que cette information est également importante pour ses propres processus d'affectation de ressources internes.
Remarquez que nous insistons sur la notion d’évaluation du rendement plutôt que sur la mesure du rendement. En fait, le plus important est que la haute direction de l’INS mette en place des processus systématiques et universels conçus pour faire ressortir différents aspects du rendement de l’organisation. Les divers processus devraient fournir des indications relatives à tous les aspects du rendement, à la fois dans l’ensemble et par programme ou produit individuel. Ces indications peuvent ensuite être intégrées à un système de planification détaillé qui facilite la prise de décision nécessairement suggestive constituant la nature inévitable de la gestion : faire des choix entre différents "produits" (comme des erreurs d’échantillonnage, l’actualité, les exigences en matière de rapports, les coûts, les besoins des utilisateurs, etc.). En ayant recours à un système de planification de ce genre, il n’est pas possible de mesurer quantitativement tous les aspects du rendement (et, par conséquent, de les réduire à des "indicateurs" dans le sens habituel). Pourtant, cet élément de subjectivité ne devrait pas être considéré comme étant fortuit dans le choix des éléments du rendement dont il faut tenir compte. On ne saurait trop insister sur le fait que le processus de collecte d’informations sur le rendement, à la fois quantitatives et qualitatives, devrait être exhaustif.
Pour en revenir à notre première analogie avec la mesure du rendement de l’économie nationale ou de la société, ce qui précède fait ressortir une différence importante : étant donné que ses activités sont menées à une échelle beaucoup plus petite, la direction de l’INS est davantage en mesure de composer avec l’intégration de données qualitatives dans sa prise de décision.
Pour élargir cette notion d’un système cible d’information sur le rendement, nous expliquerons maintenant les principales dimensions du rendement qui, selon nous, devraient être évaluées. Nous passerons ensuite à la description de méthodes bien précises qui peuvent être adoptées pour évaluer chacune des dimensions du rendement.
3. Dimensions du rendement
Même si nous avons souligné que l’évaluation du rendement devrait tout d’abord servir à la direction de l’INS, nous pouvons néanmoins associer chacune des quatre principales dimensions du rendement que nous préconisons à un groupe particulier d’intervenants qui s’intéressent à notre rendement.
1. Les utilisateurs de nos produits d’information s’intéressent à la qualité de ces produits, et dans ce contexte, le terme "qualité" est défini, au sens large, comme étant l’aptitude à l’emploi.
2. Les bailleurs de fonds de nos activités, les contribuables canadiens et les fonctionnaires chargés de l’administration des fonds publics, quant à eux, s’intéressent à notre rendement financier, notamment l’efficience, la bonne gestion et l’utilisation adéquate de l’argent des contribuables.
3. Les répondants à nos enquêtes, et leurs représentants, s’intéressent au fardeau de réponse que nous leur faisons porter, à la façon dont nous établissons des rapports avec eux et au soin que nous apportons pour protéger l’information qu’ils nous confient.
4. Nos employés, dont nous dépendons, et les organismes responsables des normes de gestion des ressources humaines au sein du gouvernement s’intéressent à notre rendement en matière de gestion des ressources humaines.
Aux Sections 4 à 7, nous traitons des méthodes et de l’information qui peuvent être utilisées pour évaluer le rendement de chacune de ces quatre grandes dimensions. À la Section 8, nous abordons quatre autres aspects importants à facettes multiples du rendement qui méritent qu’on leur accorde une attention, notamment :
- l’innovation - l’incidence d’un changement positif dans les programmes de l’organisation;
- principales constatations - conclusions analytiques qui renseignent au sujet des enjeux politiques majeurs;
- normes professionnelles - pratiques en matière d’examens par des professionnels indépendants;
- normes de prestation des services - rendement dans le traitement des transactions avec des clients individuels.
Il est impossible de produire des résultats quantitatifs directs ou des mesures des produits pour tous les aspects du rendement. Dans les cas où nous pouvons valablement le faire, nous le devrions. Cependant, lorsque cela est impossible, il est tout de même utile et valable de produire des rapports sur les processus en place comme preuve de bonne pratique même si l’incidence ou les résultats de ces processus ne peuvent pas être quantifiés. Dans les parties suivantes du présent document, nous utilisons l’expression "information sur le rendement" pour désigner des données à la fois descriptives et quantitatives. Ce dernier type de données peut également être appelé "mesures de rendement" et résumé par des "indicateurs de rendement".
4. Qualité de l’information
Il n’existe aucune définition acceptée unanimement du terme qualité en ce qui concerne les statistiques officielles. Nous avons opté pour un concept large de qualité de l’information fondé sur l’aptitude à l’emploi. Nous cernons six aspects de la qualité de l’information qui sont pertinents à l’utilisation de données: la pertinence, l’exactitude, l’actualité, l’accessibilité, l’intelligibilité, la cohérence (Statistique Canada, 1998a). Certains de ces aspects sont directement observables par les utilisateurs; par contre, en ce qui concerne d’autres aspects, seul l’INS peut les évaluer. Certains de ces aspects peuvent être quantifiés sous forme d’indicateurs numériques et d’autres peuvent être évalués seulement par rapport aux processus suivis par l’INS.
Le terme pertinence désigne la mesure dans laquelle les données produites répondent aux besoins du groupe d’utilisateurs que l’INS vise à desservir. Même si on peut parler de la pertinence d’une statistique individuelle, la pertinence peut être évaluée plus efficacement lorsqu’on s’attarde à la mesure dans laquelle l’ensemble du répertoire des données disponibles répond aux besoins des utilisateurs. La pertinence n’est pas une notion qui se prête à une mesure quantitative précise. Dans ce domaine, le rendement doit plutôt être évalué quant aux processus en place et en fonction de la satisfaction des utilisateurs définie au sens large.
Trois principaux processus doivent être mis en place. Premièrement, il faut des mécanismes dans le cadre desquels l’INS demeure à l’affût des besoins actuels et futurs de ses principaux groupes d’utilisateurs en matière d’information. En général, une gamme de mécanismes consultatifs et de collectes de renseignements sont nécessaires pour se tenir au courant des besoins changeants des utilisateurs et même pour prévoir ces changements. Les mécanismes qu’utilise Statistique Canada ont été décrits dans un autre ouvrage (Fellegi, 1996). Ces mécanismes devraient permettre d’identifier les lacunes du système statistique, c’est-à-dire de déterminer quelles sont les données dont les utilisateurs ont besoin qui ne sont pas offertes actuellement ou qui ne répondent pas bien aux besoins.
Le deuxième processus consiste en une évaluation indépendante périodique de la mesure dans laquelle les programmes statistiques individuels répondent aux besoins de leurs utilisateurs. À titre d’exemple, un programme cyclique d’évaluations faisant appel à des consultants externes qui recueillent et analysent le point de vue des utilisateurs et formulent leurs recommandations peut servir à cette fin.
Troisièmement, il doit exister un processus interne à l’INS en vue d’intégrer régulièrement les indications qui sont fournies au Bureau grâce aux deux premiers processus et les convertir en mesures qui permettront de combler les lacunes ou de corriger les points faibles les plus importants. À Statistique Canada, le cycle de planification annuel régulier constitue l’élément essentiel de ce processus qui est complété par des exercices périodiques pour obtenir l’appui et l’aide financière des principaux utilisateurs de données du gouvernement fédéral afin de combler les lacunes statistiques importantes (Statistique Canada, 1998b).
L’information sur le rendement en ce qui concerne cet aspect de la qualité consiste normalement en : a) une description des processus énumérés ci-dessus; b) une preuve du fonctionnement de ces processus (dossiers de consultations, rapports d’évaluation, documents sur les décisions, etc.); c) une illustration de l’incidence sous forme des changements apportés aux programmes à la suite des commentaires recueillis dans le cadre de ces processus.
Une autre technique pour démontrer la pertinence consiste à souligner le lien qui existe entre les diffusions importantes de données par l’INS et la politique publique thématique ou la question sociétale sur laquelle l’institut jette de la lumière. On peut ainsi faire ressortir l’importance des produits du Bureau par rapport à des questions qui sont de toute évidence importantes pour le pays.
L’exactitude désigne la mesure dans laquelle les données évaluent ou décrivent correctement les quantités ou les caractéristiques que l’on visait à mesurer dans le cadre de l’activité statistique. Les utilisateurs auxquels on présente des estimations uniquement ne sont pas en mesure, habituellement, de juger de leur exactitude à partir des chiffres eux-mêmes. L’INS se doit de fournir de l’information sur la méthodologie utilisée pour produire les données (voir sous la rubrique L’intelligibilité ci-dessous) et sur l’exactitude des données. L’exactitude elle-même comporte de nombreuses dimensions et une seule mesure permet rarement de brosser un tableau complet de façon utile. En général, les mesures de l’exactitude reflètent les sources d’erreurs dans les méthodes d’enquêtes (couverture, échantillonnage, réponse, non-réponse, etc.) et font la distinction entre la variance et le biais. Ce ne sont pas toutes les mesures d’exactitude qui sont quantitatives et des évaluations qualitatives peuvent s’avérer précieuses faute d’estimation quantitative utile de l’exactitude.
L’approche adoptée à Statistique Canada consiste à adhérer à une Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie (Statistique Canada, 1992) qui exige que toute diffusion de données soit accompagnée de descriptions de la méthodologie utilisée et des indicateurs de la qualité des données ou encore qu’elle contienne un renvoi à ce type d’information. Les indicateurs de la couverture, de l’erreur d’échantillonnage et des taux de réponse sont considérés comme obligatoires (lorsqu’ils s’appliquent), alors qu’une série de mesures additionnelles peuvent être fournies selon l’ampleur du programme et l’importance des estimations.
Outre les mesures de l’exactitude par programme, il est également utile d’assurer le suivi de certains indicateurs d’exactitude clés de l’ensemble des programmes menés au sein de l’INS. À titre d’exemple, les tendances en matière de repérage en ce qui concerne les taux de réponses parmi les enquêtes de type similaire peuvent fournir une information de gestion précieuse sur l’attitude changeante des répondants ou sur les difficultés que posent des enquêtes en particulier. Des mesures régulières de la couverture des principales bases d’enquête comme un registre des entreprises ou un registre des adresses fournissent également des données qui sont importantes à la fois dans le cadre des programmes individuels faisant appel à ces bases d’enquête et pour la direction de l’INS.
La décision relative à la quantité d’efforts à consacrer à la mesure de l’exactitude relève de la direction qui doit prendre cette décision dans le contexte des compromis habituels arrêtés lors de la conception de l’enquête. Cependant, l’existence d’une politique institutionnelle définissant les exigences minimales et les objectifs les plus élevés à viser favorise l’uniformité au sein de l’INS.
L’actualité peut désigner deux phénomènes distincts. En ce qui concerne les programmes permanents, ce terme renvoie habituellement à la période entre la fin de la période de référence et la publication des données. En ce qui concerne les enquêtes uniques ou les nouvelles enquêtes, ce terme peut se rapporter à l’intervalle entre le moment où le besoin est constaté (ou financé) et la publication des données. Il serait peut-être préférable de qualifier ce dernier sens de "réceptivité". Nous nous concentrerons sur le premier sens donné. Contrairement à l’exactitude, l’actualité est évidente pour les utilisateurs et facile à repérer. Étant donné qu’il faut souvent faire un compromis entre l’actualité et l’exactitude, on devrait les repérer ensemble.
Le choix d’un objectif en matière de l’actualité est étroitement lié à la pertinence puisque l’information ne sera peut-être pas utile si elle n’est pas connue à temps. Compte tenu des objectifs en matière de l’actualité, deux mesures de rendement peuvent s’avérer utiles. La première consiste en des dates de diffusion annoncées à l’avance en ce qui concerne les séries régulières, et le respect de ces dates. La deuxième consiste en des améliorations de l’actualité réalisée, soit en apportant des changements aux objectifs ou en dépassant des objectifs. Cependant, cette mesure doit être prise en considération en même temps que d’autres facteurs étant donné que les améliorations qui sont apportées au détriment de l’exactitude, ou à un coût indu, ne constituent pas nécessairement une amélioration du rendement global.
L’accessibilité reflète la disponibilité de l’information à partir des fonds de l’INS. Elle englobe l’existence de modes adéquats de diffusion de l’information aux différents auditoires, la disponibilité de catalogues ou d’outils de recherche permettant aux utilisateurs de savoir ce qui est offert et comment l’obtenir et l’accès abordable et pratique à l’information pour les différents groupes d’utilisateurs.
L’information sur le rendement s’appliquant à ce facteur se divise en trois grandes catégories : a) les descriptions des systèmes de diffusion qui confirment l’existence et expliquent le fonctionnement d’une variété de moyens de diffusion et d’installations de recherche visant à répondre aux besoins différents en matière de contenu et de délais, les différents niveaux d’emploi, les différents niveaux de technologie et les différents budgets des divers groupes d’utilisateurs; b) les tendances en matière d’utilisation de l’information en ce qui a trait, par exemple, aux ventes, aux demandes de renseignements, aux occurrences de la consultation d’Internet et les demandes personnalisées; c) les commentaires des utilisateurs au moyen de sondages menés auprès des clients ou les commentaires non sollicités.
L’intelligibilité renvoie à la facilité avec laquelle les utilisateurs peuvent comprendre, utiliser et analyser adéquatement l’information. Ce terme recouvre la disponibilité de métadonnées (ou d’information sur les données), plus particulièrement des descriptions des concepts sous-jacents et des définitions utilisées, de la méthodologie utilisée lors de la compilation des données et de l’exactitude des données (comme nous l’avons décrit précédemment).
L’information sur le rendement dans ce domaine englobe l’existence d’une politique et de lignes directrices claires sur la nature de la méta-information qui devrait être mise à la disposition des utilisateurs et des mesures du degré d’observation de cette politique.
La cohérence renvoie à la mesure dans laquelle les données ou l’information tirées de différents programmes sont compatibles et peuvent être analysées simultanément. Le recours à des cadres conceptuels, des définitions, des classifications et des méthodologies de collecte et de traitement s’appliquant à l’ensemble des programmes qui sont communs, ou tout au moins compatibles, favorisent la cohérence. Cette dernière est accrue au moyen de l’intégration analytique régulière de données au sein de vastes cadres comme le Système de comptabilité nationale et mis à l’épreuve au moyen de comparaisons périodiques de séries connexes qui suivent le même phénomène sous des angles différents.
L’information sur le rendement comprend l’utilisation de cadres conceptuels communs lorsqu’ils existent et les efforts pour les créer s’ils n’existent pas. Elle englobe également l’utilisation de variables et de systèmes de classification standard et de méthodologies de collecte et de traitement communes. L’utilisation systématique de diverses comparaisons analytiques et de leurs résultats reflète également l’attention que l’on porte à la cohésion, grâce aux résultats eux-mêmes. Par exemple, une erreur résiduelle dans la Comptabilité nationale peut également refléter l’exactitude de certaines séries individuelles.
L’existence d’une gamme d’information sur le rendement pour chaque aspect de la qualité sert à faire ressortir qu’aucune mesure unique du rendement ne peut résumer même la dimension unique du rendement que nous avons appelée qualité. L’information sur tous les aspects de la qualité est nécessaire à la direction pour qu’elle puisse évaluer les points faibles et décider quels sont les investissements nécessaires.
À titre d’exemple de regroupement de ces divers aspects de la qualité, nous avons amorcé récemment, à titre expérimental, des évaluations exhaustives de la qualité de quatre programmes importants de Statistique Canada. Ces évaluations ont été effectuées par du personnel d’expérience étranger aux programmes spécialisés dans le cadre d’une vaste vérification de la gestion de la qualité à Statistique Canada menée par le vérificateur général du Canada. Le personnel s’est concentré sur la pertinence des processus en place au sein de chaque programme pour vérifier la présence des six aspects de la qualité décrits précédemment et les mesurer. En plus de répondre aux besoins immédiats de la vérification, le personnel a également rassemblé, dans certains cas pour la première fois, une variété de documents et de mesures de la qualité pour chaque programme, cerné des améliorations possibles et signalé les pratiques qui pourraient être appliquées, dans une plus large mesure, à l’ensemble des programmes. Nous examinons actuellement la possibilité de mettre en place un programme cyclique régulier d’évaluations de ce genre visant tous les programmes importants.
5. Rendement financier
Pour faire en sorte de s’assurer un soutien financier continu, et même une aide additionnelle, l’INS doit être en mesure de démontrer une gestion sage et attentive des budgets existants. Chaque INS est assujetti à son propre cadre financier gouvernemental qui établit des pratiques et des exigences en matière de rapports sur les questions financières. Néanmoins, il existe plusieurs éléments communs importants dans cette démonstration.
Les rapports macrofinanciers généraux indiquent si l’INS respecte le cadre budgétaire qui lui est alloué et si, dans l’ensemble, l’institut améliore son efficacité. Ces rapports peuvent porter sur l’INS dans sa totalité de même que sur les principaux éléments de programme de l’INS.
La démonstration du respect des politiques et procédures financières traduit la considération et la reddition de comptes appropriées concernant les deniers publics. Cette démonstration peut se faire au moyen d’une activité de vérification régulière ou encore par des mesures de protection intégrées qui empêchent ou signalent les écarts.
Un système efficace de comptabilisation des coûts établi par programme, par unité organisationnelle et par fonction est essentiel pour le contrôle de la gestion et la conception de processus statistiques et administratifs efficaces. Par exemple, étant donné que l’essence même de la conception d’une enquête efficace repose sur un compromis entre les éléments de coût et l’exactitude, il est d’une importance capitale que l’on puisse disposer de renseignements fiables sur lesquels fonder les estimations de coût des solutions de rechange. Ces renseignements fiables sont également d’une importance capitale lorsqu’il s’agit d’envisager une réaffectation des ressources - qui résulte soit de restrictions budgétaires imposées de l’extérieur ou encore de restrictions auto-imposées visant à libérer des fonds pour de nouveaux investissements importants.
Le repérage des coûts et des charges de travail en ce qui concerne les opérations répétitives permet à la direction de reconnaître l’efficacité et d’encourager les bonnes pratiques. Cela peut s’appliquer à des programmes entiers qui sont dans un état de stabilité ou encore à des opérations particulières (p. ex., saisie de données, codage, mouvements de personnel) dans divers programmes.
Le repérage du rendement financier des programmes de récupération des coûts et des ventes de produits est d’une importance capitale pour un INS qui repose largement sur la production de recettes. Le risque que les pertes encourues par de tels programmes vienne pratiquer une brèche dans le budget disponible pour les programmes réguliers rend la disponibilité d’une information fiable en ce qui concerne les programmes générateurs de revenus encore plus essentielle. Les mesures de recettes brutes sont également un indicateur convaincant de la valeur des produits de l’INS pour les utilisateurs.
Il sera également important pour la direction de repérer le rendement financier des centres de coût internes qui sont administrés selon le principe de récupération des coûts. Par exemple, le rendement financier d’un centre informatique qui doit couvrir la totalité de ses coûts d’exploitation et d’immobilisations aura une incidence, non seulement sur les coûts imputés à tous les autres programmes, mais aussi sur la situation des flux de trésorerie de l’INS étant donné que celui-ci doit faire face aux sommets des investissements de capitaux.
Finalement, le repérage des projets de développement majeurs est particulièrement important étant donné leur taille et leur tendance à s’étendre. L’attention accordée par la direction à leur utilisation des ressources par comparaison aux progrès réalisés devrait fournir une alerte précoce concernant la présence éventuelle de problèmes.
Ici aussi, il n’existe pas de mesure unique qui permettrait de résumer le rendement financier. La démonstration que certains processus clés sont en place et qu’ils s’additionnent à un ensemble d’indicateurs financiers sélectionnés qui illustrent le rendement obtenu, constitue un système d’information de gestion efficace dans ce domaine.
6. Relations avec les répondants
Sans répondants, nous n’avons plus de raison d’être. Donc, le maintien de relations positives avec ces derniers est une question de survie pour un INS. Les répondants constituent un groupe varié formé de particuliers et de ménages, d’entreprises et d’institutions de même que d’organismes gouvernementaux qui fournissent des dossiers administratifs. Les problèmes et les solutions à ces problèmes diffèrent pour chaque groupe. En ce qui concerne la collecte directe effectuée par l’INS (p. ex., pour les recensements et les enquêtes), nous pouvons établir une distinction entre quatre aspects principaux du rendement :
- les mesures prises à l’étape du plan d’enquête visant à réduire le recours aux répondants pour qu’ils fournissent des renseignements;
- les procédures appliquées à l’étape de la collecte visant à faciliter autant que possible la fourniture de renseignements par les répondants;
- le fardeau de réponse qui en découle et que nous imposons aux répondants;
- les procédures visant à protéger la confidentialité des renseignements une fois qu’ils ont été fournis.
À l’étape de la conception de l’enquête, les mesures visent principalement à justifier la nécessité de tenir l’enquête dans son ensemble, à s’assurer qu’il n’existe pas d’autres moyens de se procurer les renseignements, à justifier chacune des questions proposées, à réduire la taille de l’échantillon tout en s’assurant qu’il est d’une qualité suffisante et à contrôler le fardeau de réponse imposé aux répondants individuels en chaque occasion et au cours de toutes les enquêtes.[Annotation 2: Une liste plus longue et plus détaillée de ces mesures figure en annexe.] L’information sur le rendement requis est la documentation des mesures particulières qui sont prises à la fois dans le cadre des enquêtes et dans les divers groupes d’enquête.
Si une enquête comportant un échantillon d’une certaine taille et un questionnaire d’une certaine longueur est jugée suffisamment importante pour justifier l’imposition du fardeau de réponse implicite, des mesures pourraient être appliquées à l’étape de la collecte pour faciliter les réponses. Ces mesures pourraient être, par exemple, l’élaboration de questionnaires conviviaux et ayant subi des tests préalables, qui offrent des modes de réponse qui sont pratiques pour le répondant, la négociation d’ententes concernant la production des déclarations avec les grandes entreprises, la formation des intervieweurs en ce qui concerne le contenu de l’enquête et la diplomatie.2 Dans ce cas aussi, l’information sur le rendement consiste en une documentation portant sur les mesures du Bureau et celles propres au programme utilisé à ces fins.
Le fardeau de réponse est un concept difficile à mesurer. Le temps (heures-personnes) consacré à remplir un questionnaire est une mesure commune à toutes les enquêtes, mais qui ne reflète pas nécessairement la valeur du temps consacré (valeur financière dans le cas des entreprises ou encore valeur ressentie comme équivalent à du temps perdu dans le cas des particuliers). Cette mesure ne reflète pas l’indiscrétion apparente du questionnaire. Elle ne permet pas non plus d’évaluer la possibilité que certains répondants accordent une certaine valeur aux questionnaires et même éprouvent un certain plaisir à les remplir. Malgré ces lacunes, le temps estimé pour remplir un questionnaire constitue une mesure interprétable et celle qui est la plus couramment utilisée. En ce qui concerne les entreprises, à Statistique Canada, nous surveillons le fardeau total en heures en multipliant le temps moyen estimé pour remplir chaque questionnaire par le nombre total de questionnaires expédiés. Nous ne multiplions pas le résultat par le taux de réponse étant donné que nous croyons imposer le fardeau à l’échantillon entier, même si certains choisissent à ne pas l’accepter. Des mesures comme les échantillons avec renouvellement ou l’échantillonnage coordonné servent à répartir plus uniformément le fardeau dans le temps entre les entreprises mais n’ont pas d’incidence sur le fardeau total tel qu’il est mesuré de cette manière. Des mesures séparées peuvent être calculées selon la taille de l’entreprise afin d’isoler les répercussions sur les petites entreprises. Le repérage d’une telle mesure dans le temps permet au monde des affaires de prendre connaissance des tendances relatives au fardeau et, en particulier, de constater les réductions qui résultent de la substitution des données administratives ou encore de la conception d’un échantillon plus efficace.
En ce qui concerne les ménages, le fardeau des enquêtes est beaucoup moins important en moyenne et l’on se concentre davantage sur le contrôle du fardeau maximum imposé à un seul ménage. Cela sous-entend que l’on doive surveiller avec soin la durée et le degré d’indiscrétion de chaque questionnaire à l’étape de la conception et faire en sorte que les répondants qui ont été choisis par renouvellement ou dans le cadre des enquêtes longitudinales ne sont pas surchargés et que les ménages ne souffrent pas par suite de la réutilisation des anciens échantillons pour de nouvelles enquêtes. Les taux de réponse, en plus de constituer un élément de mesure important de la qualité, peuvent aussi servir d’indicateur symptomatique du fardeau de réponse.
Les gardiens des dossiers administratifs sont habituellement les organismes gouvernementaux. Des arrangements bilatéraux particuliers doivent être conclus avec les principaux fournisseurs afin de s’assurer que le système administratif tient suffisamment compte de la nécessité pour l’INS d’avoir accès en temps opportun à ces dossiers.
L’engagement relatif à la confidentialité qui est pris à l’égard des répondants est le pilier des relations avec ceux-ci et un élément déterminant de la participation aux enquêtes. Les procédures mises en place afin de réaliser cet engagement devraient être visibles pour les répondants intéressés. Ces procédures comprennent notamment des mesures de sécurité entourant les questionnaires avant et après que les données en soient extraites, la sécurité et le contrôle d’accès qui entourent les fichiers informatiques des données fournies par les répondants de même que les mesures appliquées aux produits afin de s’assurer qu’aucune donnée personnelle n’est révélée. Des précisions concernant ces procédures devraient faire partie de l’information sur le rendement de l’INS.
En résumé, l’information sur le rendement concernant les relations avec les répondants devrait inclure la documentation des mesures conçues pour réduire le fardeau, faciliter la réponse, assurer la liaison avec les principaux répondants (grandes entreprises, institutions et détenteurs des dossiers administratifs), et protéger la confidentialité des réponses individuelles après la collecte. Des mesures explicites du fardeau de réponse, au moins pour les entreprises, peuvent aussi être repérées en fonction du temps et par taille de l’entreprise.
7. Gestion des ressources humaines
Une main-d’oeuvre motivée, polyvalente et compétente est aussi essentielle pour un INS que des ressources financières adéquates. L’éducation continue, le perfectionnement et le renouvellement du "capital intellectuel" de l’INS sont essentiels à son succès à long terme. La gestion et le perfectionnement des ressources humaines de l’organisation figurent par conséquent en tête des priorités de la direction. Les renseignements nécessaires pour mesurer le rendement du perfectionnement des ressources humaines constituent un élément essentiel de la base de données sur l’information sur le rendement d’un INS.
Comme dans le cas de la gestion financière, il convient d’observer des politiques et des procédures à l’échelle du gouvernement et il peut être obligatoire de produire certains rapports à l’intention des organismes centraux. Ces rapports devraient être des sous-produits du système d’information interne de l’INS. Le type de renseignements qui est utile pour la surveillance du rendement dans ce domaine peut se diviser en trois grandes catégories :
a) descriptions des programmes et des procédures utilisées dans la gestion des ressources humaines et démonstration ou évaluation de leur utilisation;
b) repérage quantitatif des principales statistiques sur les ressources humaines;
c) renseignements sur les opinions des employés.
Comme pour d’autres dimensions du rendement, les mesures de la production à elles seules ne permet pas d’évaluer la pertinence de la gestion des ressources humaines. La démonstration que de bonnes pratiques sont appliquées est un élément capital de l’information sur le rendement dans ce domaine. Une description intégrée des pratiques utilisées en matière de ressources humaines ne fournit pas seulement une référence valable pour les employés et les gestionnaires, mais sert aussi à établir une cohésion et à cerner les lacunes dans l’ensemble des pratiques qui peuvent avoir évolué sur une assez longue période de temps. Un document de Statistique Canada sur ce sujet (Statistique Canada, 1997) décrit ses principes généraux et sa stratégie en matière de perfectionnement des ressources humaines et fournit des descriptions détaillées sous les rubriques du recrutement et du perfectionnement, de la formation, des affectations de perfectionnement et du milieu de travail. Un tel document constitue la source de tous les renseignements concernant les pratiques en matière de ressources humaines qui peuvent être nécessaires aux organismes centraux.
Une base de données statistiques à jour sur la main-d’oeuvre du Bureau constitue aussi un outil de gestion décisif. En plus de fournir un profil à jour des employés sur le plan démographique et linguistique, par groupe [Annotation 3: Dans le contexte canadien, groupe fait référence au groupe professionnel comme les économistes, les commis, les spécialistes de l=informatique, etc.] et niveau, elle permet d’effectuer un suivi des tendances en matière de dotation, y compris les taux de recrutement, les taux de départ (par cause), les taux de promotion et l’incidence des rotations latérales. Cet outil sert de base pour la micro-modélisation de l’évolution future de la main-d’oeuvre en fonction de diverses hypothèses concernant le recrutement et l’attrition, ce qui permet à la direction de reconnaître à l’avance les secteurs éventuels de pénurie ou de surplus. Soit dit en passant, la fonction de micro-modélisation est un service que Statistique Canada offre avec succès à d’autres grands ministères qui éprouvent des préoccupations semblables au sujet du vieillissement de leur main-d’oeuvre. La base de données peut aussi contenir des relevés de la formation suivie, des compétences acquises, du processus d’évaluation de l’employé ou d’autres activités importantes pour les ressources humaines ou encore être reliée à ces informations. Une telle base de données fournit tous les indicateurs sommaires jugés importants et significatifs pour la direction, y compris ceux qui sont exigés par les organismes centraux pour effectuer la surveillance de questions telles que le bilinguisme, l’application du principe du mérite et l’équité en matière d’emploi. La base de données fournit également un contexte plus large pour ces indicateurs.
Le troisième type de renseignements provient des employés eux-mêmes par l’entremise des sondages d’opinion à l’intention des employés, des groupes de discussion ou d’autres moyens utilisés pour connaître leurs opinions. Ces moyens peuvent porter sur un éventail de sujets y compris, mais sans s’y limiter, des idées concernant les pratiques en matière de ressources humaines. Par exemple, Statistique Canada procède régulièrement à un sondage d’opinion auprès de ses employés qui s’effectue tous les trois ans et porte sur un éventail de sujets sous les grandes rubriques de "la tâche", "le supérieur immédiat", "le milieu de travail", "les langues officielles", "engagement à l’égard des clients et des répondants", "les concours" et "les programmes des ressources humaines". L’objectif principal de cette enquête n’est pas de produire des résultats qui peuvent être suivis dans le temps, mais plutôt de servir de catalyseur pour susciter la discussion au sein de chaque division concernant les résultats de l’enquête et les mesures qui doivent être prises pour corriger les problèmes qu’elle a permis de détecter. Par conséquent, cette enquête est un recensement qui permet de produire des résultats fiables à l’échelle de la division - sans compromettre la confidentialité. Chaque division doit tenir des réunions de suivi afin d’examiner les résultats et de produire des rapports concernant les mesures de suivi effectuées. Inévitablement, des comparaisons sont effectuées entre les occasions et entre les divisions, mais on se concentre surtout sur la compréhension des causes des mauvais résultats obtenus dans certains domaines et des explications des améliorations obtenues dans d’autres, de sorte que des leçons et des solutions peuvent être partagées. Soit dit en passant, l’idée d’une enquête auprès des employés conçue comme un catalyseur pour les discussions entre les employés et la direction à l’échelle divisionnaire a aussi été exportée par Statistique Canada dans les autres ministères.
8. Autres aspects importants du rendement
Ici nous mentionnons quatre aspects importants du rendement sur lesquels nous n’avons pas insisté de façon explicite dans les domaines précédemment décrits.
Pour avoir du succès, une organisation doit s’adapter à la fois aux nouveaux besoins des clients de même qu’à l’évolution du milieu des répondants et de la technologie. Cela signifie qu’il faut accomplir de nouvelles choses ou encore qu’il faut renouveler sa façon de faire. La mise en relief d’activités novatrices sélectionnées par l’INS à titre d’éléments de l’information sur le rendement sert à démontrer l’aptitude de l’organisation à s’adapter.
Comme nous l’avons mentionné auparavant au chapitre de la pertinence, la raison d’être d’un INS est de produire des renseignements qui répondent à des besoins importants de la politique publique. La mise en relief de nouveaux résultats importants et l’insistance sur leur pertinence en ce qui concerne des enjeux politiques majeurs servent à illustrer directement comment l’INS remplit son mandat.
Le travail effectué par un INS est à fort contenu professionnel. Cet aspect soulève la question de déterminer comment l’INS s’assure que les normes professionnelles sont respectées. Les pratiques en matière de gestion des ressources humaines jouent un rôle important dans l’élaboration d’une norme professionnelle élevée pour le personnel, mais il est important de disposer aussi d’un système d’autocontrôle. La diffusion des pratiques de l’INS dans le domaine de l’évaluation et de la validation professionnelles (p. ex., comités consultatifs, examen externe, examen interne par des pairs, lignes directrices techniques) sert à démontrer son attention à l’égard des normes professionnelles.
Certain secteurs d’un INS fournissent des services directs au public. Par exemple, les agents d’information répondent quotidiennement à des demandes de renseignements. Ces interfaces représentent un reflet très visible du rendement de l’organisation en ce qui concerne les services rendus au public. Les niveaux de service publiés auxquels on peut s’attendre (p. ex., pour ce qui est du temps de réponse ou des délais d’exécution) et la surveillance des niveaux de service obtenus constituent des éléments importants de l’information sur le rendement. De même, les niveaux de service peuvent être définis et surveillés pour les principaux services offerts au sein de l’INS.
9. Gestion de l’information sur le rendement
Il devrait être clair à partir de ce qui précède que ce que nous considérons comme de l’"information sur le rendement" inclut un vaste éventail de renseignements sous diverses formes. Ces renseignements comprennent notamment certaines bases de données quantitatives à partir desquelles des statistiques ou des indicateurs sommaires peuvent être extraits, mais ils comprennent également un lot de renseignements sur les procédés qui apparaîtront sous forme de texte ou de documents. Tout comme nous devons gérer les bases de données de renseignements statistiques de l’INS, nous devons aussi gérer nos bases de données de l’information sur le rendement. Trois processus apparaissent nécessaires pour faire un usage efficace de l’information sur le rendement dans le cadre de la gestion de l’INS :
a) l’organisation de l’information sur le rendement, à la fois textuels et numériques, d’une manière qui facilite la consultation par les gestionnaires qui en ont besoin;
b) des processus visant à consigner et à mettre à jour l’information sur le rendement afin de s’assurer que ces renseignements demeurent à jour; et
c) un processus d’évaluation périodique des "messages" qui découlent de l’information sur le rendement dans l’optique d’identifier les priorités en vue d’investir dans une amélioration du rendement.
En ce qui concerne les deux premiers processus, nous ne voudrions pas avancer qu’il est nécessaire ou souhaitable de se doter d’une seule base de données. Le travail effectué au sein d’un INS fait appel à de nombreux programmes différents et disparates. Des données sur le rendement ont trait à des programmes individuels tandis que d’autres s’appliquent à l’ensemble de l’organisation. En ce qui a trait aux renseignements visant les programmes, certaines formes de rapports réguliers produits par les programmes à l’intention de la direction sont nécessaires. Par exemple, à Statistique Canada, chaque gestionnaire de programme doit produire un rapport bisannuel sur son programme y compris des renseignements appropriés sur le rendement. En ce qui a trait aux renseignements à l’échelle de l’organisation, une personne est chargée de gérer chaque élément de l’évaluation du rendement. Dans la mesure du possible, la production de l’information sur le rendement devrait être intégrée aux processus opérationnels afin de réduire au minimum les efforts de collecte de données spéciale et de ne pas se fier sur la mémoire du personnel pour qu’il consigne des renseignements qu’autrement il n’inscrirait pas.
Le système de planification annuel (Statistique Canada, 1998b) constitue une partie importante du troisième processus de Statistique Canada. Il donne la possibilité aux gestionnaires de plusieurs niveaux d’évaluer l’état de leur programme et de mettre de l’avant des propositions d’investissement conçues pour améliorer leur rendement. Des problèmes au sein de l’infrastructure et des services internes du Bureau peuvent aussi être identifiés et des mesures correctives proposées.
10. Conclusion
L’efficacité d’un INS dépend de sa crédibilité. Pour qu’il joue un rôle utile dans la société, il est essentiel que l’on ait confiance dans la véracité des renseignements qu’il produit. La crédibilité et la réputation d’un INS peuvent dépendre de nombreux facteurs, y compris certains qui sont hors de son contrôle. Mais la transparence concernant ses méthodes et ses activités est un préalable pour établir cette confiance. Une approche équilibrée et ouverte en ce qui a trait à la mesure de son propre rendement ne peut que contribuer à renforcer la réputation d’un INS en matière d’objectivité et d’impartialité - même si certaines mesures de rendement ne sont pas aussi positives que nous le souhaiterions. Et le contraire est également vrai : si l’on entretient quelque doute comme quoi l’organisation est réticente à exposer en détail son rendement, il se peut que l’on doute aussi de la qualité de ses produits.
Nous sommes convaincus qu’un système complet d’évaluation du rendement devrait servir d’abord et avant tout les besoins de la direction de l’INS. Mais toutes les exigences relatives aux rapports externes, qu’elles soient obligatoires ou volontaires, devraient provenir de la même base d’information. L’information sur le rendement doit être interprétée d’une façon générale comme n’incluant pas seulement les mesures quantitatives que l’on peut reporter sur un graphique dans le temps, mais aussi les renseignements descriptifs concernant les pratiques et les processus utilisés, à partir desquels les observateurs intéressés peuvent déterminer si l’INS donne un bon rendement. Il y a un risque réel qu’en se concentrant seulement sur les aspects du rendement qui peuvent être facilement quantifiés on obtienne une image partielle et potentiellement déformée du rendement général de l’INS.
Bibliographie
Fellegi, Ivan P., "Characteristics of an Effective Statistical System", International Statistical Review, vol. 64, no 2, août 1996. ("Caractéristiques d’un système statistique efficace". Document interne.)
Statistique Canada (1992). Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie, avril 1992. Manuel des politiques 2.3
Statistique Canada (1994). Politique sur l’élaboration, l’essai et l’évaluation des questionnaires, janvier 1994. Manuel des politiques 2.8.
Statistique Canada (1997). Développement des ressources humaines à Statistique Canada, novembre 1997. Document interne.
Statistique Canada (1998a), Lignes directrices concernant la qualité, Troisième édition, octobre 1998, publication de Statistique Canada, no. 12-539-X1F au catalogue.
Statistique Canada (1998b), Système de planification intégrée et de contrôle du rendement des programmes de Statistique Canada, octobre 1998. Document interne.
Statistique Canada (1998c). Politique d’information des répondants aux enquêtes, septembre 1998. Manuel des politiques 1.1.
Appendice : Mesures visant à réduire le fardeau et à faciliter la réponse aux enquêtes
Les mesures utilisées à l’étape du plan d’enquête pour contrôler le fardeau des répondants (essentiellement pour déterminer qui est appelé à répondre et à quelle fréquence) incluent notamment :
- l’utilisation de données administratives plutôt que de données d’enquête chaque fois que c’est possible;
- l’utilisation de l’échantillonnage dans la mesure du possible;
- le renouvellement des échantillons dans le cadre des enquêtes périodiques afin de s’assurer que le fardeau de réponse est partagé dans le temps;
- la coordination de la sélection de l’échantillon à travers les enquêtes afin de s’assurer que les mêmes répondants ne deviennent pas victimes de plusieurs enquêtes au cours de la même période de temps;
- la contestation et la justification de chaque question figurant sur un questionnaire en ce qui a trait à sa nécessité afin d’obtenir l’information ou les objectifs analytiques du programme d’enquête (y compris la vérification comme quoi l’information n’existe pas déjà à partir d’une autre source existante);
- dans la mesure du possible, l’intégration des enquêtes de sorte que les mêmes questions ne soient pas répétées inutilement dans de nombreuses enquêtes;
- exiger que les répondants soient informés, au moment du contact initial, des buts de chaque enquête et des exemples d’utilisation particulière des résultats (Statistique Canada, 1998c);
- la signature d’ententes communes visant la collecte avec d’autres paliers du gouvernement de même qu’avec d’autres organisations dans la mesure du possible, afin d’éviter la collecte en double par différents organismes.
Si une enquête comportant un échantillon d’une certaine taille et un questionnaire d’une certaine longueur a été jugée nécessaire, les mesures qui pourraient être appliquées à l’étape de la collecte pour faciliter la réponse comprennent notamment :
- la fourniture d’options en ce qui concerne le mode de réponse (courrier, téléphone, courrier électronique, etc.) de sorte que les répondants puissent choisir celle qui leur convient le mieux;
- l’engagement de procéder à des essais approfondis du questionnaire auprès de répondants réels (pour tous les modes de réponse) afin que ces questionnaires soient aussi faciles que possible à comprendre et à remplir avec précision (Statistique Canada, 1994);
- la négociation d’ententes concernant les rapports auprès des répondants au sein des entreprises afin de s’assurer que les questionnaires sont expédiés à la bonne personne au sein de l’organisme et que le temps et les efforts du répondant sont réduits au minimum;
- offrir aux répondants de leur donner un suivi concernant les résultats de l’enquête (p. ex., pour les entreprises, sous la forme des moyennes de l’industrie auxquelles ils peuvent comparer leurs propres données);
- travailler avec les associations de répondants, lorsqu’elles existent, afin d’obtenir leurs commentaires et leur appui pour les enquêtes nécessaires;
- s’assurer que tous les intervieweurs sont compétents - à la fois au niveau du contenu et de la technique;
- du moins pour les grandes entreprises, offrir un point de contact unique à Statistique Canada auquel elles peuvent s’adresser pour obtenir de l’aide ou pour négocier la réponse aux demandes adressées à Statistique Canada;
- en ce qui concerne les petites entreprises, fournir les services d’un ombudsman qui agira, au sein de l’INS, à titre de protecteur des intérêts des petites entreprises qui doivent remplir leurs obligations à titre de répondants dans le cadre de divers programmes d’enquête du Bureau.