Édition 71 - Que vaut vraiment ChatGPT Search ?
#71 Un premier bilan du moteur de recherche de ChatGPT (avec exemples juridiques)
Si vous aimez mon contenu, cliquez sur le ❤ au-dessus et à côté de mon nom pour m’aider à remonter sur Substack ou Gmail et parce que ça me donne encore plus envie de faire mieux la prochaine fois 😊
C’est samedi, le jour d’EthicGPT ! 😊 Je suis très heureux de vous retrouver pour cette 71e édition !
Si quelqu’un vous a transféré cette édition et que le contenu vous plaît, n’hésitez pas à vous abonner et à la transférer également. Cela m’aidera beaucoup pour faire connaître mon travail 😌
Quelques liens utiles si jamais vous débarquez ici pour la première fois :
Mon site internet où je présente mon activité
Ma formation Juristes Augmentés
La présentation et les archives de cette newsletter
Prêt(e) à consacrer ces quelques lignes sur l’IA avec moi ? C’est parti 🚀
IMPORTANT : penser à lire sur un navigateur, car cette édition est trop longue pour votre boîte mail.
L’édition de la semaine dernière m’a permis de recevoir autant de mails en 2 jours qu’en 8 mois 😅 Une personne m’a même gentiment écrit pour dire qu’elle se désabonnait ! Je n’ai aucun souci avec cela, vous le savez bien.
Si vous êtes nouvellement abonné(e), j’ai annoncé que la ligne éditoriale allait basculer vers les questions mêlant IA générative au sens large et professions juridiques. Ce sont ces professionnels que j’accompagne le plus et avec lesquels je me sens le plus à l’aise. Pourquoi ? J’ai un M2 de droit et j’ai été juriste + 7 ans !
Sur les rares personnes ayant répondu au sondage, vous n’êtes que 25 % de professionnels du droit ! Mais ce n’est pas grave, vous allez voir que toutes les éditions ne seront forcément uniquement destinées aux avocats et juristes.
D’ailleurs, celle-ci en est la preuve. Je vais vous présenter ChatGPT Search, la nouvelle fonctionnalité de ChatGPT, censée détruire Google. Il y aura une majorité d’exemples juridiques, mais cela va servir à tout le monde, vous allez voir !
Qu’est-ce que ChatGPT Search ?
OpenAI nous explique tout très bien dans cet article. En gros, il s’agit d’une nouvelle fonctionnalité de ChatGPT, celle du moteur de recherche. Elle vient s’ajouter aux autres, comme la fonctionnalité Canvas, les assistants (GPTs) ou encore… l’accès à internet.
Mmm il va déjà falloir différencier ChatGPT Search et l’accès à internet. Ce dernier est la possibilité de citer des éléments provenant d’internet lors d’une réponse. Cela permet notamment d’éviter les hallucinations. Par exemple, si vous demandez des sources juridiques, vous pouvez demander à ChatGPT d’aller chercher les informations sur Légifrance.
La nouvelle fonctionnalité n’est pas du tout cela. C’est un véritable moteur de recherche et vous pouvez alors demander des choses que vous auriez pu demander à Google, comme par exemple un itinéraire. De fait, ChatGPT marche sur les platebandes de Google, mais aussi de Perplexity.
Accès à ChatGPT Search et fonctionnement
Au moment où j’écris ces lignes, seuls les utilisateurs payants (Plus et Team) ont accès à la nouvelle fonctionnalité. Pour l’instant, pas d’annonce de déploiement chez les autres, si ce n’est “dans les prochains mois”.
La fonctionnalité est matérialisée par l’icône représentant un globe terrestre.
Si vous avez un abonnement Plus ou Team, vous n’avez rien à faire, cela apparaît automatiquement. Pour utiliser la fonctionnalité, vous avez juste à cliquer dessus.
Maintenant, faisons notre première recherche.
Les éléments cités lors d’une recherche avec ChatGPT Search
J’ai demandé à ChatGPT Search de me faire un itinéraire entre Lausanne et Munich, en voiture avec les lieux à visiter. Voici une petite vidéo d’une minute pour voir le résultat
On a donc un résultat très différent de la fonctionnalité “accès à internet” et quelque chose qui ressemble à Perplexity.
D’abord, ChatGPT met des photos, qui représentent des illustrations des sources citées. Pour un itinéraire, les photos sont essentielles. Ensuite, vous voyez sur la colonne de droite totues les sources, qui sont vraiment nombreuses et assez pertinentes. Enfin, vous avez le rendu, à savoir le texte et le fameux itinéraire.
L’itinéraire est très cohérent, les temps de trajet sont ok après vérification, sauf un peu optimiste entre Lausanne et Lucerne. Cependant, ChatGPT est resté focalisé sur l’itinéraire et pas vraiment les lieux à visiter, qui sont à peine mentionnés. Par exemple, je n’ai aucune info sur le château de Neuschwanstein et je sais pas si c’est vraiment loin de Füssen et quelle est la durée approximative de visite.
Néanmoins, cela reste très performant, assez intuitif et surtout, il n’y a aucune hallucination.
Quelques exemples de recherches basiques
Les résultats sportifs
Vous allez voir, ce cas d’usage s’est très mal passé.
J’ai fait ce test ce jeudi matin, donc j’attendais les résultats de la veille. Non seulement, ChatGPT me sort des résultats du mardi, mais surtout, il hallucine complètement !
Tout est à peu près faux (Paris a perdu, Brest a gagné, Barcelone a gagne 5-2, etc). Pourtant, la source est le site de l’UEFA donc je ne comprends pas. Je suis donc obligé de lui dire.
On a même droit à un mini résumé d’une phrase ! C’est donc beaucoup mieux et j’aime le fait de diversifier les sources Il n’y a aucune erreur et ces matchs se sont bien déroulés le mercredi 6 novembre 2024.
Vous avez donc un premier avertissement et la fonctionnalité ChatGPT Search peut aussi halluciner.
La météo
Quelle est donc la météo à Lausanne aujourd’hui ?
J’ai voulu une source suisse, car je ne voulais pas des sites américains qui n’ont pas des données fiables. La réponse est parfaite. Mais je ne suis pas sûr que la fonctionnalité “accès à internet” n’aurait pas aussi trouvé la réponse.
Il a mis un peu de temps à répondre, mais pour, au final, ne pas se tromper.
Des exemples de recherches juridiques
Maintenant, je veux le tester avec des cas d’usage juridiques, qui pourront aider les professionnels du droit.
Les dernières évolutions légales sur un sujet particulier
Sur ce point, il me fallait un sujet vraiment d’actualité. Le plus actuel, c’est le projet de loi de finances en discussion en France.
Alors c’est pas mauvais en soi, il n’y a pas d’hallucinations, tout va bien (recherche effectuée le 7 novembre à 14h10). Cependant, il n’a pas fait mieux que la fonctionnalité '“Accès à internet”.
Le truc, c’est que vu qu’il n’y a plus eu grand-chose côté législatif en France depuis la dissolution, c’est pas le meilleur exemple. Je vais donc prendre l’exemple suisse, avec les votations fédérales du 24 novembre prochain.
Là encore, ça casse pas 3 pattes à un canard 😂 Tout est vrai, c’est bien résumé. J’aurais aimé avoir les derniers sondages.
Bref, vous avez compris que, pour ce qui est de connaître les dernières évolutions législatives, réglementations, référendaires, etc, pas d’hallucinations a priori et il tombe plutôt dans le mille.
Maintenant, je veux le tester sur l’actualité.
L’actualité judiciaire
J’ai vu que le procès lié au meurtre de Samuel Paty s’est ouvert en France. Alors je voulais voir ce que ChatGPT Search pouvait me dire à son sujet.
Pour le coup, c’est très bien et ce à quoi je m’attendais. Il cite de nombreuses sources, en français et en anglais. Certes, c’est la presse généraliste, mais je ne m’attendais pas à autre chose pour être honnête.
Et si je demande quelque chose de plus général, en Belgique cette fois (comme je vous oublie souvent les amis Belges, c’était important de le faire 😁).
C’est pas dingue. Oui, tout en vrai, mais ça remonte parfois à juin et ça me semble trop loin par rapport à novembre. Ensuite, j’ai l’impression qu’il manque de sources, en citant plusieurs fois la même.
On va donc préférer utiliser la fonctionnalité pour demander les dernières informations sur un procès précis et non pas sur l’actualité judiciaire au sens large.
Trouver des informations pour faire avancer un dossier
Le dernier cas d’usage est plus complexe, car on va utiliser ChatGPT Search avec un prompt bien travaillé afin qu’il nous trouve des dispositions juridiques applicables ET sourcées.
Vu que la réponse est longue, je vais vous citer le prompt et la réponse de ChatGPT Search.
Tu es un avocat très expérimenté en droit français de la protection des données et en cybersécurité. Ton objectif est de comparer la législation française en matière de responsabilité en cas de violation de données personnelles, notamment sous l’angle du RGPD, pour aider ton client à se défendre dans un conflit.
Le contexte de cette comparaison est un conflit juridique entre ton client, une entreprise française éditrice de logiciels, qui héberge les données personnelles de ses clients, et le client de la partie adverse, une société française responsable du traitement des données, dont les informations ont été compromises lors d'une cyberattaque. Le responsable du traitement reproche à ton client d'avoir menti sur les standards de sécurité appliqués pour protéger les données, estimant qu’il n’a pas respecté ses obligations de conformité en vertu du RGPD.
Le responsable du traitement soutient que ton client n’a pas mis en place les mesures techniques et organisationnelles appropriées pour prévenir l’incident et affirme donc que l’éditeur de logiciels est responsable de la violation de données et des potentielles sanctions réglementaires en découlant. De son côté, ton client conteste ces accusations, affirmant qu’il a respecté toutes les exigences de sécurité et les bonnes pratiques de conformité.
La comparaison doit être effectuée de manière exhaustive et fournir des informations précises sur les obligations légales de chaque partie dans ce type de relation contractuelle, en vertu du RGPD et des lois françaises. Elle doit également exposer les similitudes et différences entre leurs obligations respectives, ainsi que les avantages et inconvénients potentiels de la position de chaque partie dans ce contexte.
La législation est vue au sens large : lois, règlements, jurisprudence française en matière de protection des données et de cybersécurité. Les sources juridiques citées doivent être uniquement fondées sur Legifrance pour le droit français et eur-lex pour le droit européen.
C’est une affaire fictive, mais qui arrive régulièrement.
Voici la réponse de ChatGPT :
Dans le cadre d'un conflit juridique impliquant une entreprise française éditrice de logiciels (votre client) hébergeant des données personnelles pour le compte d'une société française responsable du traitement, dont les données ont été compromises lors d'une cyberattaque, il est essentiel d'examiner les obligations légales respectives des parties en vertu du Règlement général sur la protection des données (RGPD) et de la législation française.
1. Obligations du responsable du traitement (la société cliente)
Le responsable du traitement est la personne physique ou morale qui détermine les finalités et les moyens du traitement des données à caractère personnel. Ses principales obligations incluent :
Licéité, loyauté et transparence : Les données doivent être traitées de manière licite, loyale et transparente vis-à-vis des personnes concernées (article 5, paragraphe 1, point a, du RGPD).
Sécurité des données : Le responsable du traitement doit mettre en œuvre des mesures techniques et organisationnelles appropriées pour garantir un niveau de sécurité adapté au risque (article 32 du RGPD).
Notification des violations : En cas de violation de données à caractère personnel, il doit notifier l'autorité de contrôle compétente dans les 72 heures et, si nécessaire, informer les personnes concernées (articles 33 et 34 du RGPD).
2. Obligations du sous-traitant (votre client, l'éditeur de logiciels)
Le sous-traitant est la personne physique ou morale qui traite des données à caractère personnel pour le compte du responsable du traitement. Ses obligations principales sont :
Traitement conforme aux instructions : Le sous-traitant ne doit traiter les données que sur instruction documentée du responsable du traitement (article 28, paragraphe 3, point a, du RGPD).
Sécurité des données : Il doit également mettre en place des mesures techniques et organisationnelles appropriées pour assurer la sécurité des données (article 32 du RGPD).
Notification des violations : En cas de violation de données, le sous-traitant doit informer le responsable du traitement sans délai indu après en avoir pris connaissance (article 33, paragraphe 2, du RGPD).
3. Responsabilité en cas de violation de données
Selon l'article 82 du RGPD, toute personne ayant subi un dommage matériel ou moral du fait d'une violation du règlement a le droit d'obtenir réparation du préjudice subi. Le responsable du traitement est responsable des dommages causés par un traitement non conforme, tandis que le sous-traitant est responsable s'il n'a pas respecté les obligations qui lui incombent en vertu du RGPD ou s'il a agi en dehors des instructions légales du responsable du traitement.
4. Jurisprudence et législation française
La loi n° 2018-493 du 20 juin 2018 relative à la protection des données personnelles adapte le droit français au RGPD. Elle précise que le responsable du traitement et le sous-traitant doivent mettre en œuvre des mesures de sécurité adaptées aux risques (article 32 du RGPD). En cas de manquement, la Commission nationale de l'informatique et des libertés (CNIL) peut prononcer des sanctions.
5. Analyse des positions des parties
Position du responsable du traitement : Il reproche au sous-traitant de ne pas avoir mis en place des mesures de sécurité adéquates, ce qui aurait conduit à la violation des données. Si le sous-traitant a effectivement manqué à ses obligations de sécurité, sa responsabilité pourrait être engagée.
Position du sous-traitant : Votre client affirme avoir respecté toutes les exigences de sécurité et les bonnes pratiques de conformité. Si les mesures de sécurité étaient conformes aux normes en vigueur et que la violation résulte d'une cause externe imprévisible, la responsabilité du sous-traitant pourrait être atténuée.
6. Conclusion
La détermination de la responsabilité dépendra de l'évaluation des mesures de sécurité mises en place par le sous-traitant et de leur adéquation aux risques identifiés. Il est crucial de documenter toutes les mesures prises et de démontrer la conformité aux obligations légales pour se défendre efficacement en cas de litige.
Je réponds d’abord sur la forme. C’est très bien pour la structure et les sources citées sont bien uniquement Légifrance et EUR-lex. On est donc bon sur ça.
Sur le fond, il n’y a pas d’hallucinations et c’est principalement dû aux sources que ChatGPT a trouvées. Les sources sont fiables, donc la réponse est fiable. On peut clairement tirer quelque chose de sa réponse, même si je ne suis pas sûr que la fonctionnalité “Accès à internet” aurait fait moins bien.
Mon avis sur ChatGPT Search
Ma dernière phrase résume pas mal ma pensée. Sur des cas d’usage complexes, la fonctionnalité “Accès à internet” suffit et la fonctionnalité Search n’apporte rien de plus. Ce n’est donc pas une révolution pour cela.
En revanche, pour des recherches simples ou des recherches qu’on ferait plutôt sur Google (comme l’itinéraire), là c’est clairement intéressant. Le principal avantage, c’est la réduction des hallucinations et la pertinence d’informations à jour.
Cependant, vous avez vu comme moi que les hallucinations existent encore et le test des résultats sportifs s’est avéré catastrophique. Alors oui, c’est une fonctionnalité intéressante, mais pas révolutionnaire.
Voilà, c’est tout pour aujourd’hui, à la semaine prochaine 😁