vendredi 29 mars 2013

Evaluer la bibliothèque - Salon du Livre 2013


Encore cette année, j'ai pu assister à quelques conférences données à l'occasion du Salon du Livre 2013. Je vous retranscris ci-dessous celle qui m'a parue la plus intéressante parmi les quelques unes dont j'ai été témoin. Notez bien néanmoins, qu'il s'agit d'une retranscription à partir de mes notes : certains intervenants parlaient assez vite et l'ensemble des communications étaient denses. J'ai donc fait mon possible pour noter le plus de choses possibles, mais les phrases reproduites ci-dessous ne sont pas exactement celles qui ont été prononcées par les intervenants. J'espère néanmoins leur être restée relativement fidèle.

***

Evaluer la bibliothèque


Les intervenants :

Valérie Alonzo, adjointe à la direction de la Bibliothèque interuniversitaire Cujas
Pierre-Yves Renard, directeur du Bibliopôle (réseau de lecture du conseil général du Maine et Loire)
Iegor Groudiev, responsable de l’Observatoire de la lecture publique
Animé par Martine Poulain, directrice de la bibliothèque de l’INHA
Valérie Alonzo et Pierre-Yves Renard ont co-dirigé l’écriture du livre Evaluer la bibliothèque, paru en décembre 2012 au Cercle de la Librairie. C'est à l'occasion de cette parution qu'était organisée cette rencontre.

Intervention de Valérie Alonzo :

Aujourd’hui, il y a consensus sur la nécessité de l’évaluation en bibliothèque. On a observé un essor récent lié à l’évolution de l’environnement institutionnel.
Il existe un aspect idéologique. Le fait qu’on aboutisse à des indicateurs chiffrés donne une impression d’objectivité. L’évaluation des politiques publiques se faisait auparavant dans un contexte d’aisance budgétaire et d’un gouvernement socio-démocrate. Elles avaient pour objectif des politiques publiques mieux adaptées, organisées par des organismes centralisés. Aujourd’hui, nous sommes plutôt dans un contexte de restrictions budgétaires et de gouvernement plus conservateur, il s’agit plutôt de justifier et de guider les réductions de budget.
L’essor qu’a connu l’évaluation des bibliothèques s’est fait plutôt dans ce contexte. Mais il ne s’agit pas seulement d’une aide à la prise de décision mais aussi de montrer les capacités de l’Etat à mener des politiques publiques.

D’autre part, le niveau d’intervention a changé. La décentralisation n’est certes plus une nouveauté du coté de la lecture publique. Mais le phénomène a fait une apparition plus récente en bibliothèque universitaire du fait de la LRU. Ses effet ont inclus des démarches de contractualisation, un questionnement des objectifs au niveau local comme national, etc. On fait face à une pluralité d’acteurs : décideurs locaux, usagers, instances d’évaluation et de contrôle. La contractualisation a entraîné une segmentation : les contrats se font sur des objectifs ciblés. En bibliothèque universitaire, on divise les étudiants en catégories (les licences, les élèves en difficultés, etc.). Les bibliothèques doivent se distinguer les unes des autres : elles proposent donc de nouveaux services, répondent à des demandes ciblées qui font donc l’objet d’indicateurs morcelés.

Les travaux à mener se complexifient : alors quels indicateurs pour mesurer le portrait des bibliothèques ? Il faut interroger ses objectifs. Il faut adopter plusieurs points de vue (le citoyen, l’usager, le contribuable) et la réponse à ces demandes ne se fait pas de la même façon. Les incertitudes quant aux missions se traduisent par un travail se recentrant sur la satisfaction des utilisateurs. On va donc faire des mesures de coût et d’impact pour arriver à se comparer dans le temps et avec d’autre (benchmarking).
La comparaison dans le temps se fait depuis un moment via l’utilisation de tableaux de bord. Cela permet d’observer les évolutions et de fixer des objectifs à atteindre.
Le benchmarking pose des questions méthodologiques du fait de l’hétérogénéité des données et des établissements. Il est effectué le plus souvent au niveau national car il est plus facile de savoir ce que l’on compare. La collecte au niveau national de ce type de données est connue et l’on dispose d’un réservoir de statistiques important et sur le long terme, ce qui est très utile pour dégager des synthèses et chercher des informations à la source de manière fine.
Les comparaisons internationales sont importantes mais plus difficiles. Il s’agit de montrer des tendances, de chercher des pistes d’évolutions.

Dans le cas d’une démarche qualité, on va retrouver la question de l’usager. On y a souvent recours dans le cadre d’une volonté de diagnostique de la fonction d’accueil (sur lesquelles les bibliothèques travaillent de plus en plus). Elle répond à une ambition d’amélioration des services.
La Charte Marianne est beaucoup utilisée dans les collectivités locales. Elle est souvent mise en place par ce biais en bibliothèque. Elle a été déclinée en une boîte à outils : Qualibib. Il s’agit d’une bonne introduction à la démarche qualité, proposant des exemples très concrets sur ce qui peut être mesuré.
La BnF, la BPI et les BU se la sont appropriée. Un accélérateur a été mis en place par la DGME.
Les enquêtes de publics existent depuis très longtemps en BM. Elles sont surtout intéressantes si elles sont mises en place régulièrement. Il faut ensuite communiquer auprès des publics à la fois les résultats de l’enquête et les démarches ensuite mises en place.
En BU, leur utilisation a augmenté avec l’arrivée de LibQual+, enquête américaine transposée en France. Cette enquête insiste beaucoup sur la satisfaction telle qu’elle est perçue par le public, ce qu’il pense.
Les enquêtes se sont développées sous la pression institutionnelle et en réponse à des constats alarmants ou alarmistes sur la baisse de fréquentation des bibliothèques, l’utilisation des documents en ligne.

La recherche est l’expérimentation concernant le coût et l’impact des bibliothèques est une entreprise délicate. Des travaux sont en cours au niveau international pour aboutir à des normes AFNOR / ISO.
Combien coûte un prêt ? Combien coûte un utilisateur ? Pourquoi voudrait-on mesurer ça ? Beaucoup de moyens sont déployés pour mesurer l’impact, mais à quoi cela sert-il ? Il s’agit d’adresser les missions de la bibliothèque. D’un point de vue social, on va étudier l’impact sur les utilisateurs (l’utilisation de la bibliothèque permet-elle un changement de comportement, de connaissances, de compétences ?) mais aussi sur les communautés (en quoi la présence de la bibliothèque est-elle valorisante pour la communauté ?). Des travaux sont en train d’être menés au sein de l’IFLA et notamment sur des retours d’expérience nord-américains.
La valeur de la bibliothèque peut se traduire en valeur monétaire pour des services tels que la formation à la recherche documentaire ou la fourniture de documents.

Il est de plus en plus difficile de dresser le portrait des bibliothèques. Elles sont très dynamiques et ont beaucoup d’atouts. Les bibliothèques possèdent déjà une tradition d’échange sur les pratiques et de retours d’expérience. La question reste posée quant à la sélection des indicateurs : il faut qu’ils permettent de répondre à des politiques ciblées tout en permettant d’obtenir une vision générale des bibliothèques.
La question de la temporalité doit prendre en considération la possibilité de mettre à jour la communication interne et externe de la bibliothèque. Elle peut suivre le rythme de l’année budgétaire ou des mandats des élus dont dépend la bibliothèque.
La définition des indicateurs doit répondre à la question : que cherche-t-on à mesurer ? Sur le sujet, des normes internationales sont en cours de révision.

Intervention de Pierre-Yves Renard :

Le nom « Bibliopôle du conseil général » met en avant le commanditaire, souligne son intervention. On est toujours tiré entre la satisfaction du public et la satisfaction des missions assignées par la puissance publique. C’est sur ces dernières qu’on possède le moins d’éléments.
L’évaluation peut se faire à la fois en interne et entre bibliothèques. Il existe pour cela des outils et des concepts. Mais l’évaluation change-t-elle la bibliothèque et sa façon de fonctionner ? Il s’agit là de l’étape suivante de réflexion.

L’évaluation prend parfois l’aspect d’un affreux spectre managérial. Le livre dont la publication a donné lieu à ce débat a pour objectif de donner aux bibliothécaires les connaissances nécessaires pour savoir comment jouer ce jeu.
En France, il n’existe pas d’exemple d’une structure pilotée principalement par l’évaluation. Les outils et les méthodes viennent surtout de la sphère privée qui a pour objectif la maximisation du profit. L’évaluation est toujours marquée par cette origine, il n’existe pas d’outils complètement adaptés. Dans le contexte actuel de restrictions budgétaires, l’évaluation garde cette orientation.
Il existe un problème de maturité de l’organisation publique. La commune, le département raisonnent-ils aussi sur l’évaluation de manière aussi avancée ? Les responsables ne sont ni recrutés ni sanctionnés vis-à-vis d’objectifs atteints ou non. Il y a des intentions mais pas d’explicitation. Or évaluation dit explicitation : on met des chiffres sur des activités, on voit comment cela fonctionne.
Les établissements n’ont pas toujours d’idées très claires quant à leurs objectifs à atteindre. C’est moins le cas en BU (par exemple : « soutenir la réussite en licence ») mais cela reste assez flou en lecture publique (par exemple : « toucher le plus grand nombre »). On reste donc à la surface des choses, on ne va pas au bout de la logique d’évaluation. La responsabilité de cet état de lieux va aux bibliothèques mais aussi aux élus qui ne sont pas toujours explicites dans leurs demandes.
En contre-exemple, on peut nommer la bibliothèque de Mississauga, au Canada. Elle fait l’objet d’un processus d’efficacité organisationnelle comprenant un management annuel, un plan stratégique sur trois ans avec un dialogue sur les objectifs et les moyens avec la municipalité, un processus d’organisation du workflow. Au final, 50% de la population de la ville est inscrite à la bibliothèque.
Qu’est-ce que mesurer le succès ? C’est se confronter aux intentions des bibliothèques et non à leurs moyens, à leurs voisins ou aux établissements plus riches.
Il n’y a pas de maturité complète du processus d’évaluation dans les bibliothèques française. Dans les démarches d’évaluation, le plus intéressant n’est pas le résultat mais le processus.

Les BDP sont des relais pour l’évaluation car elles touchent un grand nombre de points d’accès au livre. Sur le réseau du Maine et Loire, une démarche a été engagée : la commune doit mettre un certain nombre de moyens pour que le Bibliopôle puisse intervenir. Dans ce dialogue avec les élus, l’évaluation est un levier qui a permis de faire avancer les choses. Le service a augmenté via cette démarche évaluative et non via les résultats de l’évaluation.  L’évaluation peut être un vecteur de succès en bibliothèques en permettant de demander des moyens.

Transition de Martine Poulain :

L’évaluation permet de poser des objectifs et des sous-objectifs situés dans le temps, ce qui n’est pas assez fait en bibliothèque. Mais ces objectifs peuvent aussi s’avérer différents voire contradictoires en fonction des différents types de bibliothèques, même au sein d’un même réseau.

Intervention de Iégor Groudiev :

L’ambition du ministère de la culture est de repenser le dispositif de statistiques concernant les bibliothèques. Cela concerne le pilotage national mais aussi la mise à disposition d’un outil pour se mettre dans une démarche d’évaluation à tout niveau en lecture publique. Certains établissements ont peu de moyens techniques et financiers à y consacrer. Le ministère cherche à répondre à ce type de besoins au travers d’un dispositif pouvant convenir à tous les échelons.
L’outil de collecte est un formulaire comportant plus de 400 items. L’objectif était de créer un espace de saisie convivial ; néanmoins, les données restent complexes à collecter.
Un nouveau site à vu le jour : l’observatoire de la lecture publique. Il propose des outils permettant de connaître l’état national, l’historique des indicateurs et la démarche d’évaluation établissement par établissement.
L’an dernier la synthèse sur le site était très détaillée. D’ici avril,  la synthèse 2011 sera mise en ligne, avec une analyse du point de vue national et quelques extrapolations en valeur absolue. Cette synthèse est très dense et les aspects méthodologiques sont très développés.
Un outil cartographique sera mis à disposition afin de consulter les données sur l’ensemble du territoire français à toutes les échelles. Il sera possible de comparer (notamment pour faire du benchmarking), de voir la structuration des équipements. Il y aura pour chaque commune un rapport statistique détaillé mis en regard de données démographiques et d’éléments spécifiquement bibliothéconomiques.
Si cette synthèse ne se substitue pas à une démarche d’évaluation locale (elle ne prend pas en compte les besoins spécifiques de la tutelle), elle peut néanmoins, en particulier pour les petites structures, permettre de croiser les éléments, d’avoir un retour sur les données remplies pour les statistiques nationales.
Le dispositif est en cours de mise en place. Il fait l’objet d’un partenariat avec les conseils généraux et les BDP : un tiers des départements français sont pour l’instant couverts mais l’on espère atteindre l’exhaustivité pour l’an prochain.

Discussion

Martine Poulain : Avant, l’optique géographique prenait le pas sur les données par établissement.
Iégor Groudiev : Désormais, le rapport circonstancié de l’année en cours et de l’ensemble des années précédentes ayant été saisies par l’établissement sont exportables en PDF.
Pierre-Yves Renard : le rôle des BDP est d’assister les communes les plus petites dans le remplissage des statistiques. L’observatoire de la lecture publique devrait permettre d’obtenir des retours particulièrement intéressants car on manquait de données sur ces toutes petites bibliothèques.
Iégor Groudiev : Le ministère de la culture a pour vocation de traiter les données provenant des bibliothèques qui dépendent de son périmètre historique. Certes, dans certaines communes, le CDI fait office de bibliothèque municipale. Mais la tâche ici est déjà considérable sans prendre en plus en compte ce genre de cas.
Valérie Alonzo : L’apport interne de l’évaluation va se faire lors du travail sur la procédure. Il faut qu’il y ait une transmission du travail effectué, qu’il y ait collaboration. L’évaluation va pouvoir impacter la politique documentaire et le travail sur les collections.

***

Les autres conférences que j'ai pu retranscrire sur ce blog :

Aucun commentaire:

Enregistrer un commentaire