COLLECTIVITES

21 Décembre 2022 , Rédigé par FO Services Publics 51

Pourquoi la première tentative d’IA appliquée au contrôle de légalité n’a pas fonctionné

La direction générale des collectivités locales n’est pas parvenue à mettre au point une solution automatisée de tri des documents soumis au contrôle de légalité. En cause, notamment, la diversité des pratiques rédactionnelles des collectivités, incompatible avec le développement d’un algorithme national.

C’est le lot de biens des projets informatiques. À plus forte raison lorsqu’ils sont expérimentaux. À l'été 2019, la direction générale des collectivités locales (DGCL) figure parmi les lauréats d’un appel à projets conjoint de la DITP et de la Dinum pour soutenir des cas d’usages de l’intelligence artificielle (IA) au sein de l’administration. Et montrer, ainsi, que l’administration prend elle aussi le virage de l’IA, un an après le sommet et la stratégie nationale en intelligence artificielle par Emmanuel Macron.

“En triant automatiquement les actes transmissibles et non transmissibles et détectant les informations à contrôler en priorité, l’intelligence artificielle pourra rendre le contrôle plus ciblé et plus efficace et faciliter le travail des agents en préfecture.” Telle était la promesse initialement portée par la DGCL avec son projet “@ctes IA” , ou Aclia. Celui-ci sera finalement abandonné, “fin 2021”, sans “qu’aucun algorithme n’ait pu être testé”, apprend-on dans un récent rapport de la Cour des comptes sur les failles du contrôle de légalité. Les magistrats citent ce projet en exemple “des difficultés” de la DGCL en matière de conduite de projets. En réalité, des algorithmes ont bien été développés et expérimentés, mais jamais déployés ni utilisés en situation réelle, faute de résultats suffisamment robustes.

Dans les préfectures, une “érosion” des moyens dévolus au contrôle de légalité

Des documents disponibles en libre accès sur Internet, et datés du 11 janvier 2021, indiquent en effet que des traitements d’IA ont bien été développés sur les 3 fonctionnalités initialement prévues. À savoir : aider à classifier les actes en fonction de leur nature et thématique, à rechercher en leur sein les informations clés et à déterminer leur transmissibilité. De quoi, sur le papier, faciliter le travail des 1 400 agents publics (dont le nombre recule depuis dix ans), principalement en préfectures, chargés de réceptionner et de contrôler dans un délai de deux mois la légalité des quelque 4 millions de documents dématérialisés que leur envoient les collectivités locales chaque année via l’application “@ctes” : délibérations du conseil municipal, contrats, conventions de délégation de service public, décisions individuelles...

Des documents pas toujours soumis à l’obligation de transmission. “Tous les actes ne sont pas soumis à cette obligation, mais certaines collectivités préfèrent tout nous envoyer par sécurité, par crainte de ne pas transmettre un acte soumis au contrôle de légalité”, explique Karine Delamarche, sous-directrice des compétences et des institutions locales. La DGCL voyait donc dans l’IA un levier pour réaliser un premier tri dans cette masse de documents, en repérant ceux qui n’auraient pas même dû être envoyés, ou mieux encore, à les classer selon leur nature et leur objet.

Absence de normalisation

Mais ce projet nous rappelle combien l’IA n’a rien de magique ni de spontané. Pour fonctionner, une application fondée sur l’IA a besoin d’entraînement. Et pour s’entraîner, elle a besoin de se nourrir de données de référence en quantité suffisante. C’est justement ce qui a fait défaut au projet Aclia. L’application @ctes, lancée en 2004, demeure relativement archaïque, et les actes qui circulent dans ses tuyaux n’ont rien de structuré ni de normalisé. Il ne s’agit ni plus ni moins que de scans de documents écrits, et donc inexploitables en l’état par une machine. “Aucun format n’est imposé au niveau national, chaque collectivité est libre de rédiger ses actes comme elle le souhaite”, rappelle Karine Delamarche. Résultat : le contrôle de légalité reste une tâche profondément humaine.

“Le contrôleur sait déterminer la nature et l’objet de l’acte en le lisant, mais ces informations ne sont pas encodées dans les métadonnées du fichier”.

Préfectures : la Place Beauvau veut renforcer le contrôle de légalité

Pour y remédier – et il s’agit souvent d’un passage obligé en intelligence artificielle –, il a donc fallu entamer d’abord un fastidieux travail d’annotation des documents. Cette opération consiste à décrire, à la main, un document, afin de le rendre intelligible pour la machine, et lui permettre d’apprendre. Mais tout ne s’est pas passé comme espéré. “Outre la hausse d’activité causée par la pandémie, l’annotation a été poussive”, constate la Cour des comptes dans son rapport, où elle précise que “l’outil d’annotation n’était pas compatible avec tous les navigateurs Internet installés en préfecture et les agents n’avaient pas tous la même compréhension des attentes de l’opération”.

Selon la DGCL, la crise sanitaire a en effet largement compromis les plans initiaux, en obligeant les 3 préfectures “pilotes” à se recentrer sur l’essentiel, compte tenu de la charge de travail : une semaine de travail était nécessaire aux 10 annotateurs pour annoter 50 documents seulement. De son côté, la DGCL a été contrainte de focaliser ses efforts pour permettre aux préfectures de continuer d’utiliser “@ctes” dans un contexte de travail à distance. Au final, les données d’apprentissage des algorithmes se sont donc révélées insuffisantes en quantité, comme en qualité.

Stabilisation de l’application “@ctes”

Quels enseignements tirer de cette expérimentation ? “Même si résultats n’ont pas été la hauteur de nos espérances, ce n’est pas non plus une fin de non-recevoir sur les opportunités de l’IA appliquée au contrôle de légalité”, estime Karine Delamarche. La sous-directrice retient surtout qu’il est préférable de procéder étape par étape, en s’attaquant à un premier cas d’usage plus ciblé, et surtout qu’il est nécessaire, avant toute chose, de consolider l’existant avant de se lancer dans l’IA.

“Nous avons préféré, plutôt que de mettre en production un outil insuffisamment robuste et qui donnerait une image négative de l’IA, d’abord réaliser un retour d’expérience du projet, et surtout stabiliser l’application socle qu’est @ctes”, explique la sous-directrice.

Cette application de télétransmission, par ailleurs vieille de vingt ans, est en effet toujours en évolution et développement. En attendant une hypothétique refonte pour inclure à la source les métadonnées de chaque document – et ainsi permettre une première catégorisation, puis un apprentissage par l’IA –, la direction s’évertue à apporter des améliorations, que ce soit en matière d’ergonomie, de fonctionnalités de tri, ou d’interfaçage avec d’autres applications comme “Plat’au” pour simplifier le contrôle des documents d’urbanisme.

ACTEURS PUBLICS : article PUBLIE le mercredi 14 décembre 2022 & EMILE MARZOLF

Partager cet article

Repost0