Édition 69 - L'IA chez les avocats : bénédiction ou fumisterie ?

#69 Quand un avocat documente (mal) son utilisation de l'IA en interne

Si vous aimez mon contenu, cliquez sur le ❤ au-dessus et à côté de mon nom pour m’aider à remonter sur Substack ou Gmail et parce que ça me donne encore plus envie de faire mieux la prochaine fois 😊

C’est samedi, le jour d’EthicGPT ! 😊 Je suis très heureux de vous retrouver pour cette 69e édition !

Si quelqu’un vous a transféré cette édition et que le contenu vous plaît, n’hésitez pas à vous abonner et à la transférer également. Cela m’aidera beaucoup pour faire connaître mon travail 😌

Quelques liens utiles si jamais vous débarquez ici pour la première fois :

• Mon site internet où je présente mon activité

• Vous souhaitez sponsoriser cette newsletter ? C’est par ici

• Ma formation Juristes Augmentés

• Mon coaching ChatGPT / IA d’une heure en visio

• Mon podcast Singularité IA en vidéo et en audio

• Mon compte LinkedIn

• La présentation et les archives de cette newsletter

Prêt(e) à consacrer ces quelques sur l’IA avec moi ? C’est parti 🚀

---

Ceux qui me connaissent ou me suivent depuis longtemps savent que je suis un diplômé en droit et ancien juriste. C’est la raison pour laquelle j’ai une certaine "prédisposition” à pouvoir former à l’IA les avocats et professionnels du droit.

Pendant longtemps, les avocats ont été très réticents à l’IA, pour de bonnes et mauvaises raisons. Et puis, d’un coup, il a fallu s’y mettre et désormais, j’ai de nombreuses demandes de formations pour les métiers juridiques.

Quand un avocat fait un retour sur son utilisation de l’IA, je suis donc très intéressé, même s’il est négatif. L’article en question, dont voici le lien, m’a été transmis par une amie avocate. Je l’ai lu 2 fois, parce qu’il y a eu des choses qui m’ont échappé à la première lecture. Puis je l’ai fait analyser par ChatGPT pour être sûr de ne rien avoir oublié.

Il y a énormément à dire sur cet article et j’ai décidé d’y consacrer cette édition. Elle va vraiment vous intéresser si vous êtes professionnel(le) du droit ou tout simplement une personne curieuse. D’abord, je vous conseille de lire l’article pour comprendre le contexte (5 minutes max de lecture). Je vais néanmoins citer les passagers importants.

Précision importante : il s’agit de droit français (sauf le cas d’usage 6).

Propos liminaires

Comme un bon juriste, je fais un avant-propos 😁

1. Je ne connais pas cet avocat, ni son cabinet

Je n’ai aucun intérêt à critiquer ou encenser l’auteur. Mon ambition est de répondre le plus objectivement possible à tout ce qui, pour moi, coince dans cet article. Cela n’a rien de personnel.

2. Je suis prudent sur les apports de l’IA

Ma promesse, c’est de faire gagner jusqu’à 2 heures par jour. Le mot le plus important ici est jusqu’à. Parce que non, tout le monde ne va pas gagner 2 heures par jour, ni une heure d’ailleurs.

Cela dépend de nombreux paramètres, propres à chaque entreprise et à chaque personne. En revanche, dans la quasi-totalité des métiers, lorsque l’IA est utilisée à bon escient, on gagne du temps en comparaison à ce qui se faisait avant, à tâches identiques. Mais cela n’est pas inné.

3. Les hallucinations sont encore nombreuses dans le droit

Du fait de l’absence de données en quantité et/ou à jour, certains cas d’usage juridiques sont sujets aux hallucinations. C’est notamment le cas des recherches de jurisprudences.

Oui, cela s’améliore, mais les LLMs grand public ont un manque criant de données d’entraînement dans ces matières, notamment dans les juridictions francophones.

Bref, ce n’est pas un outil parfait, loin de là.

Ces propos ne remettent pas en cause la suite du texte et ce que je vais dire plus bas.

Utiliser l'IA oui, mais laquelle ?

C’est la première chose que j’ai voulu regarder. Et j’ai cherché, lu et relu. Je me suis aidé de ChatGPT pour voir si mes yeux.

À aucun moment l’auteur indique quelle(s) IA il a utilisée(s) pour ces tests. Pourtant, c’est la base, car les outils sont tellement nombreux qu’il y a à boire et à manger dans les outils, donc avant même toute utilisation.

Oui, il y a bien cette phrase en introduction : “Plusieurs fournisseurs ont été sélectionnés, d’une part, les généralistes, et d’autre part, les éditeurs juridiques (mais qui, au vu des coûts de développement de chaque outil, utilisent pour base les robots des généralistes dans leurs versions premiums couplés uniquement à leurs bases de données).”

Mais c’est un écrit d’avocat, il va donc falloir décoder 😁

Généralistes : je suppose que ce sont les IA génératives généralistes de type ChatGPT, Claude, Gemini ou Copilot.

Éditeurs juridiques : plutôt simples, ce sont les IA des éditeurs comme Lexis, Dalloz, Doctrine. En effet, elles sont construites avec l’API d’un “généraliste”. Chez Lexis, c’est OpenAI par exemple.

Enfin, tout ça, je le suppose, puisqu’au fond, j’en sais rien !

L’auteur n’a pas écrit une seule fois les mots “agents” et “assistants”. En revanche, le mot “robot” apparaît 18 fois. La seule fois où l’on a un indice, c’est ici :

Lorsque nous avons interrogé l’éditeur du robot à propos de cette incohérence, il n’a pas été en mesure de nous fournir une explication satisfaisante.

Si l’avocat a pu interroger l’éditeur, c’est que ça doit être le chatbot d’un éditeur juridique. À moins que ce soit Copilot ?

Bref, pour moi, le premier problème majeur, c’est que je ne suis pas capable de savoir de quels outils on parle. Or, c’est ESSENTIEL d’avoir cette info, tant la différence entre les outils est abyssale pour certains usages, notamment dans des cas d’usage juridiques.

C’est une omission presque grave, possiblement volontaire, mais peut-être pas. J’en reparle en conclusion.

Aussi, et cela n’est pas un détail, je n’ai aucun des prompts utilisés. Étaient-ce des prompts foireux ? Ou bien de jolis prompts, mais un outil foireux ? J’en sais rien. Décidément, l’absence d’informations est un vrai problème dans cet article. Mais on va quand même passer outre.

Cas d'usage envisagés par l'avocat

L’avocat a utilisé “l’IA” pour les cas d’usage suivants :

• Analyse de baux commerciaux,

• Action en fixation du loyer d’un bail commercial renouvelé,

• Droit des sociétés,

• Décompte d’arriérés locatifs,

• Analyse de 80 e-mails pour créer une synthèse chronologique

• Obtention de taux d’imposition fédéraux applicables aux Américains en vertu du FATCA.

Ces 6 cas d’usage seront vus un à un dans la partie suivante.

Réponses aux 6 cas d'usage présentés

Pour l’ensemble des cas d’usage qui vont suivre, je suis donc incapable de vous dire quelle IA a été effectivement utilisée. Je ne suis pas non plus capable de vous donner les prompts utilisés par le cabinet en question. Clairement, c’est un énorme souci, mais passons.

Analyse de baux commerciaux

Pour ce cas d’avocat, les avocats du cabinet ont souhaité faire analyser au “robot” des baux commerciaux pour vérifier la rédaction de certaines clauses. Un usage non concluant selon l’auteur.

Si la réponse présente une syntaxe simpliste et s’écarte du cadre juridique, notamment pour le second point (image de marque), l’outil n’a manifestement pas compris non plus qu’un bail commercial conclu pour une durée supérieure à 9 ans permet à tout bailleur de déplafonner le montant du loyer à son échéance pour le voir fixer à la valeur locative.

Puis, il ajoute.

Nous avons immédiatement signalé ce risque à l’outil, en lui indiquant qu’il était nécessaire d’apporter de la nuance dans sa réponse, car cela pourrait ne pas être opportun selon la partie au contrat qui était conseillée par le Cabinet. Malheureusement, l’outil n’a pas tenu compte de nos remarques et a continué de commettre la même erreur inlassablement pendant toute l’année.

Cette frustration est typique des utilisateurs qui attendent tout de l’IA. En gros, dans la réponse fournie par l’IA, l’outil a conseillé un bail plus long pour plus de stabilité, donc supérieur aux 9 ans. Ce qui a légalement des conséquences concernant le déplafonnement du loyer (oui, c’est en technique).

Ici, le premier élément à noter, c’est que ce problème est typiquement causé par l’absence de contextualisation et la certitude de l’utilisateur que l’IA connaît le droit des baux commerciaux sur le bout des doigts. Ce n’est pas le cas et il ne faut jamais prétendre le contraire.

Le second élément, c’est que l’avocat a pensé qu’une IA pouvant interpréter un bail commercial comme le ferait un avocat ou, du moins, comme il le ferait lui. Là non, ce n’est pas comme cela que ça marche.

Pourtant, une IA peut sans aucune difficulté réaliser ce cas d’usage de manière positive avec un assistant de type GPT : un spécialiste de l’analyse de baux commerciaux, plus précisément un conseiller spécial pour interpréter des clauses pouvant être néfaste aux clients de l’avocat.

Cependant, cet assistant a au minimum besoin d’instructions très précises et contraignantes, de l’ensemble de la législation relative aux baux commerciaux et de modèles de baux commerciaux. Il s’agit d’un minimum.

Action en fixation du loyer d’un bail commercial renouvelé

Pour ce cas d’usage, l’auteur a interrogé l’IA pour savoir quel schéma judiciaire elle proposerait pour engager une action en fixation de la valeur locative d’un bail renouvelé.

Là encore, l’avocat a été très déçu.

L’outil nous a initialement informés que le bailleur disposait d’un délai d’un an pour saisir le Tribunal Judiciaire afin de faire fixer la valeur locative du nouveau contrat en cas de désaccord persistant entre les parties après le renouvellement du bail commercial.


Cette information est tout bonnement incorrecte.

On en revient au problème précédent : une IA n’est pas docteure en droit des baux commerciaux, encore moins une IA générative “généraliste”, encore moins une version gratuite.

Ce problème peut être très facilement résolu avec, par exemple, ChatGPT, même avec la version gratuite. Il faut un prompt précis pour contextualiser la demande et, surtout, demander à ChatGPT de sourcer sa réponse avec Légifrance, et uniquement Légifrance.

Le prompt doit inclure une phrase de ce type : “Pour ta réponse, tu vas uniquement te fonder sur des sources juridiques fiables et à jour, disponibles sur le site Légifrance qui est le seul que tu as le droit de regarder. Je te demande de citer les dispositions juridiques applicables et de me citer in extenso les articles applicables, puis ensuite de me donner le schéma judiciaire demandée en fonction de ces dispositions applicables”.

Cette partie de prompt, je l’ai rédigée en 1 minutes. Même si vous promptez comme un pied, cela vous prend 5 minutes maximum. 99 % des hallucinations ou mauvaises interprétations sont éliminées.

Droit des sociétés

Bon là j’avoue, on sort des choses que je comprends en droit 😅 L’avocat a souhaité utiliser l’IA pour qu’elle fournisse des dispositions ou des décisions établissant un droit de communication des comptes sociaux aux associés dans une forme particulière d’association.

Je n’y comprends pas grand-chose au droit des sociétés. Donc imaginez une IA qui fait, je le rappelle, de la prédiction quand elle vous répond, quand vous lui mettez ça dans la tronche 🤡

Bien entendu, l’IA a été à côté de la plaque.

Sans que nous comprenions, le robot a sélectionné des dispositions légales provenant du Code de la construction et de l’habitation ainsi que du Code général des collectivités territoriales, toutes hors sujet. Ces textes n’avaient aucun lien avec la recherche engagée, et aucune des dispositions légales mentionnées ne concernait la qualité d’associé ou la notion de comptes sociaux.

Puis, l’auteur ajoute.

Lorsque nous avons interrogé l’éditeur du robot à propos de cette incohérence, il n’a pas été en mesure de nous fournir une explication satisfaisante.

Si je comprends bien la dernière phrase, nous avons là affaire à un éditeur juridique, sans connaître lequel, ni sa version. Mais peu importe, là encore, il est assez simple de comprendre ce qu’il s’est passé.

La demande est objectivement complexe, car il s’agit d’un domaine juridique de niche. Par conséquent, l’IA n’a pas été entraînée, ou à peine, à ce domaine. Aussi peu d’utilisateurs vont l’interroger à ce sujet. Par conséquent, il est presque logique que la réponse soit aux fraises.

La réponse semble tellement loin que je ne vois que 2 possibilités :

• Un prompt très mal écrit, induisant en erreur l’IA,

• Le fait que le robot de l’éditeur juridique, si c’est bien cela, soit tout simplement mauvais.

Sur le second point, je n’ai pas d’autre conseil à donner que de changer de prestataire !

Pour le premier point, il faut faire comme le cas 2 (Légifrance, etc), tout en insistant que nous sommes en droit des sociétés. Ainsi, le rôle de l’IA doit être celui d’un avocat français très expérimenté en droit des sociétés, plus particulièrement dans le droit applicable aux associés d’une association. Cela éviterait au minimum la citation d’articles hors sujet.

Décompte d’arriérés locatifs

Pour ce cas d’usage, l’avocat a souhaité que l’IA puisse mettre à jour un décompte des arriérés locatifs et, simultanément, vérifier l’actualisation du montant du loyer selon l’indice de référence stipulé dans le contrat de bail. Le contrait a été fourni au format PDF.

Patatras, l’IA a échoué.

Malheureusement, le robot n’a pas été en mesure d’identifier l’indice d’indexation clairement stipulé dans le contrat, pas davantage il n’a pu nous fournir l’indice actualisé conforme.


Nous avons donc dû indiquer au robot quels étaient l’indice de référence et l’indice d’actualisation.


Malgré nos efforts de précision, le robot n’a pas réussi à calculer correctement le solde des loyers impayés.

Alors, on va reprendre depuis le début.

Concernant l’analyse du bail au format PDF, si cette analyse a été effectuée avant, disons, le printemps 2024, l’analyse des formats PDF restait complexe pour une IA. Encore plus si ce PDF est, en fait, un PDF scanné ou formaté. A priori, cela n’est pas le cas, puisque l’IA a quand même réussi à faire les calculs (mais sans trop savoir si l’outil avait réellement compris ce qui lui a indiqué l’utilisateur).

Ensuite, avant chaque analyse de document complexe et/ou long, il faut vérifier que l’outil puisse bien analyser le document en question, avec 2 à 3 questions préliminaires. Cela prend 3 minutes maximum et c’est essentiel pour éviter les mauvaises interprétations. Avant d’interroger l’IA sur un document de ce type, il faut être sûr qu’elle le comprend.

Une indice d’indexation clairement identifié, cela signifie, pour une IA que l’expression “indice d’indéxation” soit écrite de manière explicite dans le bail. Sans cela, on oublie. Quand bien même, il faut expliquer en quelques mots à l’IA ce qu’est l’indice d’indexation, en gros qu’il sert à actualiser le montant de loyer.

Enfin, le meilleur pour la fin, avec la phrase magique.

In fine, sur une opération de calcul relativement simple, un outil né du calcul et fonctionnant par le calcul n’a pas été en mesure de livrer un résultat correct.

Et non cher ami ! Une IA générative de texte, donc un LLM, ne sait pas calculer, même des calculs simples ! Ce n’est pas son rôle.

Il n’y a que 2 exceptions :

• Une forte contextualisation en amont pour l’aider à comprendre les éléments, ce que j’ai réussi à faire en formation,

• L’utilisation du nouveau modèle o1 d’OpenAI, qui sait faire des calculs complexes.

Dans tous les autres cas, on n’utilise JAMAIS une IA générative de TEXTE pour faire des maths !

Analyse de 80 e-mails pour créer une synthèse chronologique

Pour ce cas d’usage, l’auteur a demandé à l’IA d’analyser 80 courriels pour nous en livrer une synthèse chronologique, identifiant l’auteur, la date et le contenu déterminant. Pour le coup, ce cas d’usage est réalisable.

D’ailleus, au départ, l’avocat était content.

Au début, nous avons été agréablement étonné par la précision de la synthèse réalisée, l’outil ayant su identifier non seulement les échanges de courriels soumis à l’analyse, mais a également réussi à extraire les échanges téléphoniques mentionnés dans les courriels pour les intégrer au fil des échanges.

Puis, il a commencé à tirer la tronche.

Cependant, au fur et à mesure de notre lecture, nous avons été de plus en plus dubitatifs par l’évolution de la teneur des débats, avec des incohérences de fond.

Et il a compris le problème.

Nous avons alors interrogé l’outil pour savoir quelle pièce transmise avait pu servir à livrer cette analyse.


L’outil, s’excusant platement, nous a répondu que ces échanges n’existaient tout simplement pas !


Ils avaient été purement et simplement inventés de toutes pièces.


Il s’agit d’un des travers de l’IA : les mirages de données.

Mirage de données, j’aime bien l’expression.

Bon, on reprend.

Là encore, sans connaître l’outil ayant analysé le document, ni la date, difficile de comprendre exactement ce qu’il s’est passé et pourquoi ça a planté. Aujourd’hui, la quasi-totalité de ces écueils sont évités avec un modèle comme GPT-4o :

• Il faut d’abord, comme pour le bail tout à l’heure, faire 2/3 questions préliminaires pour voir si l’IA a bien cerné de quoi on parlait,

• Ensuite, il faut exiger à l’IA de rester focalisée sur le document, et uniquement sur le document partagé, et lui interdire d’inventer quoi que ce soit,

• Ensuite, il faut lui demander d’isoler certains éléments importants (auteurs, dates, etc) et lui demander de donner ces éléments sous forme de tableau,

• ENFIN, on lui demande le travail initial, à savoir la synthèse chronologique.

Les 3 premières vous paraissent longs ? Pourtant, cela peut être réglé en 5 minutes chrono. Le 3e est le plus important, car c’est lui qui va déterminer le résultat.

D’ailleurs, ce cas d’usage a vu l’exemple pompon.

Le robot, cherchant coute que coute à satisfaire son utilisateur en lui fournissant une réponse, en vient à inventer de toutes pièces du contenu.


Cet écueil a été observé aux États-Unis, où un Avocat avait cité des décisions de jurisprudences communiquées par ChatGPT qui n’existaient tout simplement pas.

Alors oui, c’est l’exemple que je donne à toutes mes formations quand je parle des hallucinations. Sauf que le problème n’est pas l’IA, mais l’avocat américain qui n’a pas compris qu’une IA générative n’est pas une base de données juridique.

Surtout, l’avocat auteur de l’article semble confondre hallucinations issues d’un prompt et hallucinations issues de l’analyse d’un document. Les seconds sont bien plus graves, souvent causées par un prompt aux fraises ou un outil trop limité pour analyser des documents longs.

Obtention de taux d’imposition fédéraux applicables aux Américains en vertu du FATCA

L’avocat a souhaité utiliser un “outil automatisé” (sic) pour obtenir les taux d’imposition fédéraux applicables à ces ressortissants, afin de calculer l’incidence des impôts non exonérés par rapport aux gains sur certains actifs.

Là encore, échec terrible pour l’avocat

Toutes les données fiscales fournies par l’outil étaient incorrectes, tant en ce qui concerne les taux que les crédits d’impôt censés s’appliquer.

Bon là encore, je sais même pas de quel outil on parle, donc c’est analyser sur du vide 🤡

Sans aucun contexte, je suppose que l’outil en question n’a tout simplement pas accès aux informations demandées. En clair, il ne pouvait pas répondre à cette question de manière correcte. Il lui aurait fallu au minimum l’accès à un document répertoriant les taux d’imposition en question.

Et on aurait de toute façon le problème du calcul évoqué plus haut.

Mon avis définitif en conclusion

Bon, inutile de cacher que l’auteur de l’article est dubitatif sur l’IA, dont les analyses sont, je cite, parsemées d’erreurs.

Puis il ajoute.

De nombreux dossiers ont été, sont et seront gagnés grâce à une attention minutieuse portée sur les détails, voire les ultra-détails.


Or, à ce jour, aucun des robots utilisés n’atteint le niveau d’exigence requis pour effectuer de la recherche et de l’analyse de ces détails ou de ces ultra-détails. 

(...)

En l’état, le rôle de l’Avocat apparaît toujours indispensable pour l’exécution des tâches historiques du métier, mais également comme garde de fou à des outils qui, pour l’heure, demeurent inachevés, voire dangereux pour le profane qui verrait dans ses réponses le saint graal de la consultation gratuite ou du renseignement juridique à profusion. 

Vous savez quoi ? Je suis d’accord avec lui ! À croire que l’auteur pensait que l’IA allait remplacer son métier. Il n’en a jamais été question. Dans toutes mes formations, je répète à l’envi que l’IA n’est qu’une assistante. Oui, une super assistante, mais seulement une assistante et pas une remplaçante.

Or, on a l’impression que l’avocat a voulu tester l’IA afin qu’elle le remplace sur certaines tâches. Spoiler : l’IA ne remplace pas l’avocat, pour aucune tâche. Elle peut faire les choses automatiquement, mais il n’y a jamais de validation sans une relecture.

L’IA aide l’avocat à réaliser plus vite certaines tâches pour in fine gagner plus de clients (faire du business development comme m’a dit une amie avocate). Elle n’est pas là pour vous faire moins travailler (sauf si vous ne voulez pas plus de clients) et encore moins pour vous remplacer !

De fait, je pense que le cabinet a (très) mal utilisé l’IA, notamment quand on voit la surprise des calculs erronés ou de l’incompréhension de l’analyse de baux commerciaux. Soit l’IA ne peut pas le faire, soit il lui faut bien plus de contexte et de données. 1 an pour comprendre cela, c’est beaucoup.

Enfin, je conseille toujours de rester focalisé sur 1 à 3 cas d’usage au départ, afin de les maîtriser parfaitement. 6 cas d’usage, c’est trop, donc on néglige la pratique de chacun.

Pour conclure, l’auteur est partie dans une diatribe anti-IA sur la consommation énergétique.

Par-delà ces enjeux pratico-pratiques, un aspect non négligeable de l’IA est son impact énergétique et environnemental.
(...)
En se basant sur la consommation connue d’un microprocesseur implanté dans un serveur d’IA et les prévisions de production générative des nouveaux serveurs, la consommation mondiale d’électricité liée à l’IA pourrait augmenter de 85 à 134 TWh par an, soit l’équivalent de la consommation annuelle d’électricité des Pays-Bas, de l’Argentine ou la Suède.

En lisant ce passage, j’ai l’impression de repartir dans les débats sur la consommation énergétique du Bitcoin. C’est drôle car, quand il a instauré l’utilisation de l’IA dans son cabinet, l’auteur n’a jamais pensé à ce sujet, qui était pourtant déjà présent.

Aussi l’auteur ne semble pas se soucier de la consommation énergétique du porno, qui représente peut-être celle de la France (j’en sais rien), une industrie ô combien utile à la société comme on le sait tous. La consommation d’énergie de l’IA est un sujet, mais pas plus pas moins que le reste.

Bref, vous avez compris mon agacement quand je lis ce genre d’articles, mais il ne m’a pas surpris. Néanmoins, je vois beaucoup de progrès. Il y a un an, presque 100 % des avocats auraient pu pondre un article de ce type. Aujourd’hui, beaucoup d’avocats se sont mis à l’IA et admettent gagner du temps sur des tâches très spécifiques. Il suffit de choisir les bonnes et surtout, de bien se former. L’IA ne remplacera jamais les avocats. Mais les avocats utilisant l’IA remplaceront ceux qui ne l’utilisent pas ou l’utilisent mal.

Voilà, c’est tout pour aujourd’hui, à la semaine prochaine😁