Édition 53 - Claude meilleur que ChatGPT ? Vraiment ?
#53 Rien ne vaut un test pour se faire une idée !
Si vous aimez mon contenu, cliquez sur le ❤ au-dessus et à côté de mon nom pour m’aider à remonter sur Substack ou Gmail et parce que ça me donne encore plus envie de faire mieux la prochaine fois 😊
C’est vendredi, le (nouveau ?) jour d’EthicGPT ! 😊 Je suis très heureux de vous retrouver pour cette 53e édition !
Oui, il est fort probable que je conserve cette journée du vendredi, au moins pour l’été !
Si quelqu’un vous a transféré cette édition et que le contenu vous plaît, n’hésitez pas à vous abonner et à la transférer également. Cela m’aidera beaucoup pour faire connaître mon travail 😌
Quelques liens utiles si jamais vous débarquez ici pour la première fois :
Mon site internet où je présente mon activité
Vous souhaitez sponsoriser cette newsletter ? C’est par ici
Mes formations Juristes Augmentés et Découvrir Mistral AI
La présentation et les archives de cette newsletter
Prêt(e) à consacrer ces quelques sur l’IA avec moi ? C’est parti 🚀
Cela fait des semaines que je voulais faire un test de Claude 3 et vous le partagez. Mais j’ai dû donner la priorité aux formations que j’avais à donner depuis mi-mai et, donc, à des éditions de newsletter plutôt axées sur la réflexion.
Néanmoins, avec la sortie de Claude 3.5, j’ai dû me résoudre à le faire dès aujourd’hui ! Et je pense que c’était une superbe idée 🙂 Certains savent ici que je suis pas pour l’overdose d’outils. On dirait qu’il y en avait un nouveau par jour !
Toutefois, certains d’entre eux méritent le détour et Claude en fait clairement partie. Pour les personnes qui ne connaîtraient pas Claude, je vais présenter l’outil dans la première partie de cette édition.
Si vous avez lu les newsletters de tests que j’ai faites ces dernières semaines, je vais reprendre exactement les mêmes cas d’usage. Voilà l’édition sur GPT-4o et celle sur le duel entre Mistral AI et ChatGPT.
C’est quoi Claude ?
Claude est un agent conversationnel (chatbot) utilisant l’IA générative. Jusque-là, ça va ! Il est développé par Anthropic, une start-up américaine, fondée en 2021 par Dario Amodei, Daniela Amodei et d'autres anciens employés d'OpenAI. Les fondateurs ont quitté OpenAI en raison de divergences sur la direction de l'entreprise. Selon eux, OpenAI ne prenait pas une direction “sûre et alignée” sur les valeurs humaines.
Depuis son lancement initial en mars 2023, Claude a fait pas mal de bruit, à son échelle. Toutes les personnes l’ayant testé, moi inclus, ont trouvé l’outil très bon. D’ailleurs pendant longtemps, je préférais Claude pour analyser les PDF. L’arrivée de Claude 3, pourtant excellent, n’a rien changé en Europe, car Claude a été inaccessible chez nous jusqu’à début mai 2024 ! C’est la raison pour laquelle Claude reste un outil très méconnu.
La semaine dernière, Anthropic a annoncé la sortie de Claude 3.5 Sonnet, qui a impressionné beaucoup de monde. Certains disent qu’il est meilleur que GPT-4o ! Claude est aussi en train devenir petit à petit multimodal, comme ChatGPT.
Enfin, Anthropic veut construire une IA éthique. J’aurais pu insister sur ce dernier point au vu de la thématique originelle de la newsletter. Mais je ne le ferai pas aujourd’hui. Par contre, selon la réception de cette édition, je n’exclus de faire une suite la semaine prochaine.
Claude, gratuit ou payant ?
Comme ChatGPT, Claude offre plusieurs versions. Aujourd’hui, la version gratuite vous suffit largement si vous voulez juste un outil d’appoint par rapport à ChatGPT. En plus, cette version donne un accès limité à Claude 3.5 Sonnet que je vais utiliser pour les tests du jour.
Il y a aussi une version Team, qui ressemble comme 2 gouttes d’eau à la version Team de ChatGPT. En gros, c’est très utile pour partager tout ça avec des partenaires ou une équipe au sein des entreprises.
Me concernant, j’ai pris la version Pro pour un mois, car c’était important de vous faire le meilleur test possible. Pour le prix, vous avez tous les détails dans ce tableau.
Bref, c’est vraiment ChatGPT, même dans le tarif 😁 Autre point important : officiellement, la meilleure version est Opus, celle avec laquelle je voulais à l’origine faire le test. Mais, avec la sortie d’un 3.5, j’ai choisi de les faire avec la version Sonnet.
Maintenant, passons aux tests !
Mon premier test de Claude 3.5 Sonnet
Je reprends mes tests habituels, qui sont plutôt bien pour évaluer la qualité d’un modèle.
Répondre à un e-mail,
Rédaction d’un post Linkedin,
Réécriture d’un post pour un autre réseau social,
Analyse d’un document,
Analyse d’une image.
Point essentiel : je ne vais faire aucun test comparatif dans cette édition, car ce n’est pas l’objectif. Toutefois, je n’exclus pas de dire si ChatGPT aurait pu faire mieux ou moins bon, selon mon ressenti.
Test 1 : Répondre à un e-mail
Prompt :
Tu es mon assistant de direction personnel et tu as 20 d'expérience dans ce domaine. Ton objectif est d'aider les employés et dirigeants dans leurs tâches administratives, avec pour mission principale de répondre à tous les e-mails reçus.
Contexte : je suis un assistant RH et j’ai besoin que tu m’aides à rédiger des brouillons de réponse à mes e-mails, que je valide ensuite.
Lorsque tu rédiges une réponse, il est important de commencer par une formule de politesse adaptée au prénom de l'auteur de l'e-mail. Prends donc soin de vérifier le prénom de l'auteur de l'e-mail auquel répondre pour déterminer comment tu dois t'adresser à lui. Réponds ensuite à l'e-mail comme si c'était toi qui l'envoyais directement.
Ton but est de répondre à l’e-mail délimité entre 3 guillemets :
“””Salut Pierre,
J'espère que tu vas bien ! Je reviens vers toi suite à notre dernière réunion d'équipe, où nous avons discuté de l'implication de chacun dans les projets en cours. J'ai remarqué que tu étais un peu en retrait sur certains projets clés.
Je sais que tu as les compétences et l'expérience nécessaires pour contribuer de manière significative à ces projets. C'est pourquoi je voulais te demander si tout allait bien de ton côté et si tu avais des préoccupations particulières qui t'empêchaient de t'impliquer davantage.
N'hésite pas à me contacter si tu as besoin de discuter ou si tu as des suggestions pour améliorer ton implication.
À bientôt,
Marion”””
La réponse doit donc être adressée à Marion, en utilisant le tutoiement.
Objectif de la réponse : la réponse doit être défensive, en expliquant que le manque d'implication n'est pas dû à un manque de motivation ou de compétence, mais plutôt à un manque de clarté dans les attentes et les objectifs des projets. Propose une réunion pour discuter des attentes et des objectifs spécifiques.
Utilise mon style d'écriture en prenant en exemple la forme et le style de l'e-mail entre les guillemets (“) que j’ai déjà rédigé. Le fond et la thématique de l'e-mail n'ont pas d'importance.
“Salut Pierre,
Merci pour ton mail et j'ai bien noté pour la date butoir concernant la mise en ligne de l'offre pour le poste de comptable est vendredi.
Il me manque quelques éléments, notamment les détails techniques du poste, qui sont essentiels.
N'hésite pas à me contacter si besoin ou pour me donner ces détails dès que possible.
À bientôt,
Marion”.
L’e-mail est de bonne facture, il a su répondre à mes directives et à reprendre le style du template. L’erreur, s’il y en a une, vient de moi : j’aurais dû donner un template de meilleure qualité pour que la réponse soit encore meilleure !
Cependant, même avec ce template, je suis satisfait de la réponse donnée et le premier test est concluant.
Test 2 : Rédaction d’un post Linkedin
Prompt :
Tu es mon community manager pour les réseaux sociaux et tu es un excellent créateur de contenu en langue française. Tu as plus de 20 ans d’expérience en tant que community manager et créateur de contenu.
Ton objectif est d'aider dans leur quotidien les solopreneurs et indépendants dans leur communication sur les réseaux sociaux. Tu peux soit écrire un contenu, soit réécrire un contenu déjà publié pour l'adapter à un autre réseau social.
Ta mission principale sera de m'écrire un post Linkedin sur la thématique suivante : Mon burn-out m'a aidé à devenir l'entrepreneur que je suis.
Tu devrais impérativement suivre ces règles.
D'abord pour l'accroche, tu dois impérativement suivre une ou plusieurs de ces conditions :
- Une phrase courte et percutante qui suscite la curiosité du lecteur et l'incite à en savoir plus.
- Une question ou une affirmation qui va à l'encontre des idées reçues ou des stéréotypes.
- Une référence à un événement ou une situation personnelle qui a eu un impact important sur votre vie.
- Une promesse ou un bénéfice que le lecteur pourra retirer de la lecture de votre post.
Pour le reste, tu dois impérativement suivre ces règles :
- Aucun hashtag ni émoji,
- Entre 2000 et 2500 caractères ou signes,
- Post divisé en paragraphes de 2 lignes maximum,
- Une conclusion également provocante pour inciter les personnes victimes de burn-out à se bouger.
Voici quelques éléments de contexte :
- j'étais salarié d'une entreprise et travaillais 80 heures par semaine pour un salaire de 3000 euros,
- ma vie était consacrée au travail,
- je n'avais aucune activité sportive et j'avais pris 20 kg en 1 an,
- j'ai fini sous anti-dépresseurs et à ne plus aimer la vie,
- je suis redevenu heureux après m'être lancé dans l'entrepreneuriat.
Respecte l'ensemble des consignes et écris-moi ce post Linkedin.
Honnêtement, je suis assez impressionné ! On a un texte de très bonne qualité, qui peut clairement être publié tel quel sur Linkedin. La seule chose à changer serait peut-être l’accroche.
C’est la première fois que je valide 100 % d’un contenu généré par IA.
Test 3 : Réécriture d’un post pour un autre réseau social
Prompt :
Tu es mon community manager pour les réseaux sociaux et tu es un excellent créateur de contenu en langue française. Tu as plus de 20 ans d’expérience en tant que community manager et créateur de contenu.
Ton objectif est d'aider dans leur quotidien les solopreneurs et indépendants dans leur communication sur les réseaux sociaux. Tu peux soit écrire un contenu, soit réécrire un contenu déjà publié pour l'adapter à un autre réseau social.
Ta mission principale sera de me réécrire un post Linkedin déjà publié pour le transformer, d'abord, en plusieurs stories Instagram, puis, à la suite, en thread Twitter.
Tu devrais impérativement suivre les normes de rédaction de ces 2 réseaux sociaux. Ne mets de hashtags et pas d'émoji sur Twitter.
Voici le post Linkedin à adapter :
"""Et si je vous disais que mon burn-out a été la meilleure chose qui me soit arrivée ?
Il y a quelques années, j'étais salarié dans une entreprise, travaillant 80 heures par semaine pour un salaire de 3000 euros. Ma vie était consacrée au travail, je n'avais aucune activité sportive et j'avais pris 20 kg en 1 an. J'ai fini sous anti-dépresseurs et à ne plus aimer la vie.
Mais alors, comment ai-je pu affirmer que mon burn-out a été bénéfique pour moi ? C'est simple, c'est grâce à lui que je suis devenu l'entrepreneur que je suis aujourd'hui.
Le burn-out a été un véritable électrochoc pour moi. J'ai réalisé que je ne voulais plus vivre pour travailler, mais travailler pour vivre. J'ai pris la décision de quitter mon emploi et de me lancer dans l'entrepreneuriat.
Cela n'a pas été facile tous les jours, mais j'ai appris à prendre soin de moi, à équilibrer ma vie professionnelle et personnelle, à faire du sport et à manger sainement. J'ai retrouvé le goût de la vie et je suis devenu plus épanoui que jamais.
Aujourd'hui, je suis fier de dire que mon burn-out m'a aidé à devenir l'entrepreneur que je suis. J'ai appris de mes erreurs passées et j'ai construit une entreprise qui me ressemble, qui respecte mes valeurs et qui me permet de vivre une vie équilibrée.
Alors, si vous êtes victime de burn-out, n'ayez pas peur de prendre un nouveau départ. C'est peut-être la chance de votre vie de devenir la personne que vous avez toujours voulu être. Osez sortir de votre zone de confort et lancez-vous dans l'entrepreneuriat. Vous ne le regretterez pas !"""
Rédige.
Commençons pour Instagram.
Je ne suis pas du tout un utilisateur d’Instagram. Moi, ce style ne me plaît pas et j’aime pas les émojis. Toutefois, je sais que Claude a fait ce que je lui avais demandé. Donc, rien que pour cela, je valide et je suis très satisfait de la réponse.
N’hésitez pas à me dire en commentaire si cela a été bien adapté à la sauce Insta.
Maintenant, pour Twitter / X.
Bon, je dois avouer que j’attendais un peu plus d’originalité. Là encore, Claude reprend exactement mon post, en le transformant en thread. Certes, je n’avais pas demandé beaucoup plus, mais j’attendais un peu plus.
La qualité reste néanmoins présente et c’est l’essentiel.
Test 4 : Analyse d’un document
Pour cette comparaison, j’aurais aimé reprendre mon document “complexe” des tests précédents, à savoir un fichier Excel. Malheureusement, Claude ne peut pas lire de fichiers Excel… C’est un gros moins par rapport à ChatGPT, on ne va pas se mentir !
Cependant, il semble pouvoir lire les PDFs. Je vais donc le tester avec un guide de compléments alimentaires de mes amis Flavio Guionneau et Meryl Bissionnier, que vous pouvez suivre sur Linkedin. Le document fait 48 pages, ce qui est un test plutôt complexe. En plus, il y a des images.
Je vais lui poser ces 4 questions :
Arrives-tu bien à lire les données de ce document ? Si oui, résume-moi l’idée générale en 1 phrase.
Procède étape par étape en analysant d’abord l’ensemble du document. Ensuite, tu dois m’extraire le plan du guide. Enfin, tu dois me faire un résumé de 100 mots environ de l’ensemble du guide. Sois détaillé et précis.
Reprends l’ensemble des données du document et fais-moi un résumé d’environ 250 mots sur les raisons pour lesquelles chaque personne doit prendre des compléments alimentaires. Procède étape par étape pour arriver au résultat et reste entièrement focalisé sur les données du document uniquement.
Reprends l’ensemble des données du document et fais-moi un tableau comparatif des compléments alimentaires les plus importants selon Meryl et Flavio. Le tableau doit au moins contenir le nom du complément, ses bienfaits et, si tu trouves, l’apport recommandé par jour. Reste entièrement focalisé sur le document.
Malheureusement, Claude ne permet pas le partage des chats… Je vais donc devoir tout copier. Tout ça va compter dans la conclusion.
Bon, ça va, je suis rassuré 😅
Là, tout va bien. Claude a tout bon et le résumé est exactement ce qu’il y a dans le guide. C’est un bon point.
Très bon résumé de Claude, qui a parfaitement fait ce que je lui avais demandé et qui a bien cerné l’essence du guide.
Certes, ce n’est pas un document très difficile à analyser pour une IA performante, mais cela ne veut pas dire qu’il ne faut pas dire quand c’est bien fait !
Pour la dernière question, je ne vais pas tout copier, car il y a eu un souci. Claude n’a pas réussi à générer un tableau du premier coup. J’ai dû m’y prendre à 3 fois. Et encore, ce n’était pas un tableau parfait.
En fait, pour la forme, c’est pas ouf. Il faut faire défiler le tableau sur la droite ! Pour le fond en revanche, c’est parfait. Va quand même falloir retravailler la forme.
Test 5 : Description d’une image
Je reprends mon image avec ma chienne à Venise pour voir comment Claude va la décrire.
Excellente description. Claude devine que c’est à Venise, alors que le nom de l’image ne mentionne même pas Venise. En plus, il se permet de “raconter” une petite histoire à la fin.
Bref, je valide à 100 % !
Ma conclusion sur Claude
Au vu des posts dithyrambiques que j’ai lus, je m’attendais à quelque chose de mieux. En fait, j’ai été trompé par ces personnes. Si je n’avais pas été influencé au préalable, j’aurais trouvé Claude excellent, car c’est le cas.
Les textes générés sont bons, le français est impeccable et probablement meilleur que celui de GPT-4o. Néanmoins, le bémol principal reste qu’il ne peut pas lire tous les formats. Aussi le test de la génération de tableau ne s’est pas avéré concluant.
Au final, est-ce que je recommande Claude ? Oui. L’outil est bon, au moins pour le copywriting et la langue française. Mais si vous voulez des fonctionnalités avancées, ChatGPT fait toujours l’affaire.
Voilà, c’est tout pour aujourd’hui, à la semaine prochaine 😁
Je fais un peu de teasing… Il y aura une suite à cette édition la semaine prochaine :) Car j’ai volontairement omis certaines fonctionnalités.