ChatGPT : mais où va l’algorithmisation de la justice ?

La firme OpenAI, avec son agent conversationnel ChatGPT, vient tout juste d’ajouter sa pièce à la machine à débats relatifs à l’algorithmisation de la justice. Une pièce en plus, certes, mais peut-être pas une pièce nouvelle car la « révolution » ChatGPT, si elle ne laisse pas les juristes indifférents1, relève pour l’instant du micro-évènement.

Un bot bavard mais une ontologie imparfaite

De l’aveu de ses concepteurs le chatbot est, en l’état actuel, très imparfait : « ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical anwers […] »2. Et les juristes qui ont conversé avec l’IA, tantôt amusés tantôt dépités, sont globalement unanimes : ChatGPT est incapable de saisir dans les lignes de son code ce qui se passe entre les lignes du droit.

S’il dispose d’un générateur de texte très bavard3 – ce qui s’est révélé suffisant pour obtenir une note de 11,75 à un examen de droit conçu pour des non spécialistes4, le chatbot n’entend cependant rien aux spécificités du droit français et n’est certainement pas près de plaider devant un tribunal. Et pour cause : le système interne de ce modèle de langue repose sur le principe de probabilité ; il ne vise donc ni la véracité ni la justesse5.

Pourtant l’objet questionne. Et si ChatGPT parvenait finalement à imiter la qualité des propos d’un juriste français ?6 A réussir le CRFPA ? Tandis qu’outre-Atlantique l’IA a déjà réussi l’examen du barreau7, en France les universitaires s’interrogent sur l’apparition de nouveaux risques de tricheries ou de nouvelles formes de plagiat8.

Grâce à l’apprentissage profond, les neurones de cet organisme algébrique sont évolutifs : plus ChatGPT reçoit des données juridiques nombreuses et diversifiées, plus ses probabilités de passer avec succès le test de Turing9 sont grandes. Quelles implications, alors, pour les professionnels du droit ?

Des algorithmes à Laplace10 des avocats

Derrière le problème du respect de la déontologie universitaire, pointe en vérité la crainte de voir apparaître un futur corps de professionnels incapable de plaider ou de juger sans sa béquille algorithmique.

De fait, les algorithmes ont déjà fait leur place dans le milieu juridique français, mais ces derniers sont cantonnés à des tâches techniques d’exploitation de données, démunies de toute dimension créatrice. Ce « travail » est ensuite fertilisé et cultivé par l’intelligence humaine qui seule, en définitive, interprète les résultats obtenus ou arrête une décision. Schématiquement, il est possible de distinguer deux modes d’utilisation complémentaires des algorithmes en milieu juridique : 

  • L’une, relevant de l’approche scientifique (« jurimétrie »), permet notamment l’extraction de données statistiques à des fins d’analyse et d’interprétation des phénomènes juridiques par les chercheurs,
  • L’autre concerne la pratique effective du droit (« justice prédictive ») : elle permet d’analyser de grands réservoirs de décisions et, éventuellement, de se voir suggérer, à partir d’un ensemble de critères déterminés, la résolution probable (mais non certaine) d’une affaire11.

En la matière donc, ce qui occupe les réflexions des professionnels tient moins à la robotisation de la justice qu’à la perspective que les algorithmes puissent, par accoutumance et passive confiance, devenir une entrave à l’activité de l’aiguillon de la pensée des juristes. Autrement dit, la problématique relevée n’a pas trait à la technologie (dispositif technique) en elle-même mais au calcul de données massives (dispositif rationnel), lequel tend à gommer les aspérités, les subtilités des informations traitées quand il ne produit pas de résultats faussés par des biais d’analyse – c’est-à-dire, de calcul.

A cet égard, l’ontologie probabiliste de ChatGPT soulève ainsi les mêmes questions que d’autres systèmes algorithmiques, à commencer par feu DataJust.

Esprit Datajust, es-tu là ?

Pour mémoire, Datajust, une expérimentation d’initiative publique interrompue en janvier 2022, visait à la création d’un algorithme dédié à l’évaluation des indemnisations pour préjudices corporels. Si ce projet pouvait sans doute constituer une alternative « libre » et fiable à l’offre privée des Legaltechs, nombre de juristes se sont néanmoins montrés dubitatifs à l’idée que cet algorithme puisse devenir un référentiel officiel et obligatoire pour la profession12.

La raison d’une telle circonspection est à chercher dans les défaillances méthodologiques et techniques qui sont apparues dès le lancement du projet. L’entraînement de l’algorithme, effectué sur la base de données non anonymisées et partielles, recueillies entre 2017 et 2019, posait de réelles  questions tant en matière de sécurité13 que de fiabilité. De fait, de ce petit échantillon de data incomplet (il y manque notamment les décisions de première instance), DataJust ne pouvait que produire des résultats biaisés14.

Mais, en supposant que l’échantillon soit plus représentatif et que l’algorithme soit plus transparent, la légitimité de Datajust se pose tout de même. Dans un article publié en septembre 2020, Yannick MENECER, magistrat détaché au Conseil de l’Europe, met très justement en perspective trois axes de préoccupations suscités par l’algorithme qui pourraient tout aussi bien valoir pour ChatGPT : le risque d’erreur de la machine, le risque d’inattention du juriste face au risque d’erreur de la machine et enfin le risque d’invisibilisation du particulier sous l’effet de la mathématisation du réel judiciaire. Sur ce dernier point, Y. MENECER note notamment que : 

« Cet algorithme va également s’appuyer sur une technologie peu adaptée pour procéder au traitement d’une telle quantité d’informations qualitatives : il ne s’agit pas en effet de faire une simple médiane ou moyenne des montants précédemment alloués mais d’aller chercher les potentiels éléments de motivation pouvant avoir un lien avec un montant spécifique. Opérer cette analyse, c’est composer un cadre interprétatif, composé des paramètres choisis par des concepteurs (certains résultants des termes de la loi, d’autres résultant du simple arbitrage). »15

Nous le voyons, la tension entre les fonctionnalités de l’algorithme et les fonctions du juriste traduit deux appréhensions divergentes du principe de normativité : quantitative et stricte d’un côté, interprétative et relative – parce qu’attentive à la singularité des cas qui se présentent – de l’autre.  Or, sur ce point, la recommandation n°18 du Rapport de la Cour de Cassation relatif à la diffusion des données décisionnelles et [à] la jurisprudence fournit des clés d’analyse supplémentaires qui méritent toute notre attention.

La recommandation n°18

Dans cette recommandation, il est question d’autoriser un ensemble d’utilisateurs de Judilibre à signaler les divergences jurisprudentielles repérées dans le moteur, via une application accessible depuis le site de la Cour de cassation. Ces utilisateurs autorisés – c’est-à-dire les juristes, « universitaires comme praticiens »16 –  seraient dès lors enjoints de réaliser une veille sur les décisions versées dans Judilibre pour ensuite effectuer leurs signalements dans le cadre d’une mission d’identification des décisions contradictoires, pilotée par un « Conseil des données judiciaires ouvertes », Conseil dont la création est par ailleurs sollicitée dans la recommandation n°16 du même rapport :

« Au sein du Conseil, une cellule pilotée par le SDER conduirait cette mission. […] Elle [la collaboration avec la communauté des juristes] pourrait prendre la forme d’une application mise en place sur le site de la Cour de cassation, permettant à un utilisateur inscrit de signaler une divergence observée, l’information étant ensuite transmise au Conseil qui vérifierait la réalité des difficultés signalées. Il appartiendrait alors au Conseil de faire connaître ces divergences à la Cour de cassation, ainsi qu’aux juridictions du fond, afin de permettre leur résolution précoce. »17

En outre, si la configuration technique d’une telle application de signalement n’appelle pas en elle-même de commentaires particuliers, notons tout de même que la Cour de cassation envisage que cette tâche puisse à terme être en partie « algorithmisée » :

« A terme, des instruments reposant sur l’utilisation d’algorithmes permettront peut-être la révélation de tendances contraires. Toutefois, dans l’attente de tels outils et afin d’exploiter les décisions rendues aisément accessibles par l’open data, une veille des divergences pourraient être organisée […]. Cela paraît d’autant plus indispensable que, même si un algorithme permettait un jour de déceler les divergences, une opération intellectuelle d’affinement serait très certainement indispensable, en complément de l’analyse produite par la machine. »18

Certes, la création d’un tel algorithme est très hypothétique et, à supposer que la recommandation n°18 trouve une voie de concrétisation, le travail de repérage des divergences serait, au moins dans un premier temps, entièrement à la charge de personnes physiques. Mais ce constat ne suffit cependant pas à écarter les points de convergence qui lient le chatbot ChatGPT, l’expérimentation DataJust et la recommandation n°18. En effet, qu’il soit effectué manuellement ou automatiquement, le travail de signalement susmentionné traduit bien une démarche propre à la méthode quantitative19.

En l’espèce, il s’agit ici de : (I) quantifier la part des décisions rendues sur des affaires similaires par les juridictions du fonds et qui divergent entre elles, (a) faute de jurisprudence de la Cour de Cassation en la matière, (b) ou en contradiction avec cette dernière lorsqu’elle existe ; (II) d’opérer, à partir des résultats obtenus et s’il a lieu (a) une mise en cohérence du contenu jurisprudentiel et (b) une régulation des pratiques jurisprudentielles. Cette perspective permet de comprendre pourquoi certains juristes, à l’instar de C. HÉLAINE20 par exemple, ont pu émettre une certaine réserve à l’égard de cette même recommandation sans lui dénier son intérêt en matière de lisibilité du droit et de sécurité juridique à l’attention du justiciable :  

« La recommandation n° 18 implique de replacer l’utilisateur du site de la Cour de cassation et donc de Judilibre comme un acteur venant signaler des divergences entre plusieurs décisions. L’idée est intéressante mais n’est-ce pas un risque qui tendrait à tout uniformiser et à ne pas faire éclore des divergences qui ont parfois pour vocation de créer un revirement de jurisprudence à court ou à moyen terme ? Le débat devra nécessairement être ouvert sur cette recommandation particulièrement importante visant non à limiter les divergences mais à en assurer un certain suivi. »

Nous le voyons, l’ambivalence ici formulée à l’égard d’une justice quantitative et uniformisatrice rejoint celles que nous avons jusqu’à présent mises en avant à travers l’analyse des cas de ChatGPT puis de DataJust. Mais quelles conclusions en tirer ?

Accusés ChatGPT et consorts, levez-vous !

La révolution CHatGPT dont nous questionnions la portée en début d’article relève davantage de l’effet de nouveauté que de la nouveauté réelle. En effet, le chatbot ne bouscule pas le problème de fond amené par l’algorithmisation de la justice, problème relatif à la méthode quantitative qui, nous l’avons vu, est largement facilitée par le développement d’algorithmes performants sans y être astreinte. Reste désormais une question relative à la justice quantitative elle-même et à la saisie du droit qu’elle opère : s’agit-il d’une problématique nouvelle, ou de la reformulation contemporaine d’une indépassable mise en tension entre l’application du principe de généralité de la loi d’un côté et l’analyse par cas de l’autre ?

  1. Voir par exemple, G. MAHE, G. HAAS, « ChatGPT : pourquoi cette intelligence artificielle inquiète ? », Info.haas-avocats.com, 26 déc. 2022. []
  2. https://openai.com/blog/chatgpt/ []
  3. Le constat est effectué par la firme OpenAI elle-même sur son site : « The model is often excessively verbose and overuses certain phrases, such as restating that it’s a language model trained by OpenAI. These issues arise from biases in the training data (trainers prefer longer answers that look more comprehensive) and well-known over-optimization issues ». []
  4. Nous nous référons ici au retour d’expérience d’Alexandre Chazelle, doctorant chargé de cours en Droit des activités spatiales : https://www.linkedin.com/posts/alexandre-chazelle-88b066212_copies-du-chatgpt-activity-7008796153446039552-8MTF. []
  5. Sur ce point, on pourra se reporter aux constats effectués par la firme OpenAI elle-même.  Pour une explication détaillée du système, voir O. LASCAR, « ChatGPT : l’intelligence artificielle d’OpenAI fonctionne comme une ‘’petite partie du cerveau’’ », sciencesetavenir.fr, 21 janv. 2023 (màj le 26 janv. 2023). Pour un constat des limites de l’AI en contexte juridique, se référer à un article cité plus haut : P. ALIX, ibid. : « Rappelons que ChatGPT est spécifiquement conçu pour le dialogue et la génération de texte et non pour fournir une texte fiable ». []
  6. La qualité des réponses fournies par ChatGPT varie selon la formulation de la question. Le système étant probabiliste, une question qui demande à l’IA d’imiter un expert ou un spécialiste a plus de chances d’obtenir des réponses justes. Voir à ce sujet, les tests effectués par des enseignants de mathématiques sur le forum neoprofs.org : à la question « merci de résoudre X^3=1 » la réponse de ChatGPT est erronée. En apportant la précision « merci de résoudre X^3=1 comme le ferait un professeur de mathématiques » la réponse devient juste. []
  7. Cf. https://twitter.com/pythonprimes/status/1601664776194912256?s=20&t=IK3e6inbOA_cwrK177scag []
  8. Voir notamment M. LATINA, « ChatGPT et l’enseignement du droit », actu.dalloz-etudiant.fr, 30 janv. 2023. []
  9. Pour plus d’information, voir par exemple la page Wikipédia dédiée au test de Turing []
  10. La référence est ici faite à P.-S. LAPLACE, Essai philosophique sur les probabilités, Courcier, 1814, p.2 : « Une intelligence qui, à un instant donné, connaîtrait toutes les forces dont la nature est animée et la situation respective des êtres qui la composent, si d’ailleurs elle était suffisamment vaste pour soumettre ces données à l’analyse, embrasserait dans la même formule les mouvements des plus grands corps de l’univers et ceux du plus léger atome ; rien ne serait incertain pour elle, et l’avenir, comme le passé, serait présent à ses yeux. » []
  11. Voir par exemple L. VIAUT, « Droit et algorithmes : réflexion sur les nouveaux processus décisionnels », actu-juridique.fr, 04 sept. 2020. []
  12. Pour une présentation détaillée de l’ensemble des griefs portés par les juristes, consulter E. BARTHE, « Datajust : un traitement de données (abandonné) pour élaborer un algorithme en matière d’indemnisation du préjudice corporel », precisement.org, janv. 2022. []
  13. La quadrature du net, « DataJust : violer la loi sous couvert d’expérimentation », laquadature.net, 28 déc. 2021. []
  14. A. VITARD, « C’est la fin pour DataJust, l’algorithme d’évaluation des préjudices corporels », usine-digitale.fr, 14 janv. 2022. []
  15. Y. MENECER, « DataJust en prise avec les limites de l’intelligence artificielle », Le nouveau pouvoir judiciaire, n°432, sept. 2020. []
  16. L. CADIET, C. CHAINAIS et J.-M. SOMMER (dir.), S. JOBERT et E. JOND-NECAND (rapp.), La diffusion des données décisionnelles et la jurisprudence, Rapport remis à la première présidente de la Cour de cassation et au procureur général près la Cour de cassation – juin 2022, disponible en ligne sur le site de la Cour. []
  17. Ibid. p.120. []
  18. Ibid. p.119. []
  19. Ibid. p.116-119. []
  20. C. HÉLAINE, « Quelle jurisprudence à l’ère des données judiciaires ouvertes ? », dalloz-actualite.fr, 20 juin 2022. []
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search