Édition 45 - Mistral AI vs ChatGPT, le duel
#45 Test comparatif entre Mistral et ChatGPT avec 5 prompts identiques
Si vous aimez mon contenu, cliquez sur le ❤ au-dessus et à côté de mon nom pour m’aider à remonter sur Substack ou Gmail et parce que ça me donne encore plus envie de faire mieux la prochaine fois 😊
C’est jeudi, le jour d’EthicGPT ! 😊 Je suis très heureux de vous retrouver pour cette 45e édition !
Si quelqu’un vous a transféré cette édition et que le contenu vous plaît, n’hésitez pas à vous abonner et à la transférer également. Cela m’aidera beaucoup pour faire connaître mon travail 😌
Quelques liens utiles si jamais vous débarquez ici pour la première fois :
Vous souhaitez sponsoriser cette newsletter ? C’est par ici
Ma formation Juristes Augmentés (vous pouvez obtenir 35% du prix de la formation grâce à l’affiliation sur systeme.io)
La présentation et les archives de cette newsletter
Aujourd’hui, je suis heureux de vous annoncer la sortie de ma formation sur Mistral AI, la toute première en français ! Au programme, 3 heures de vidéo, plus de 25 chapitres et 10 cas d’usage avec prompt.
Son prix ? 99€. Pour vous récompenser de votre fidélité, j’offre 40 euros de réduction pour les 40 premiers d’entre vous, soit 49 € seulement ! Vous n’avez qu’à taper le code promo ETHIC sur la page de paiement, code valable jusqu’à ce dimanche 5 mai, 22h.
Pour découvrir Mistral, c’est par ici.
Prêt(e) à consacrer ces quelques sur l’IA avec moi ? C’est parti 🚀
Aujourd’hui, je me consacre à quelque chose que je voulais faire depuis longtemps : les tests comparatifs. Et le premier d’entre eux est le plus logique : comparer ChatGPT et Mistral.
Bon, déjà, vous avez compris, c’est aussi parce que ma formation Mistral est enfin en ligne 😅 Mais aussi, pour vraiment vous montrer ce que Mistral a dans le ventre. Et vous allez voir que c’est plutôt pas mal !
Le test comparatif va se dérouler ainsi :
Je teste exactement le même prompt sur ChatGPT et Mistral,
Les LLM utilisés sont GPT-4 et Mistral Large, soit les 2 meilleurs de chacune des entreprises,
Je vous montre les résultats ici,
Je donne mon avis et donne un vainqueur.
Mon avis est bien entendu subjectif et vous pouvez en avoir un différent ! 😌
Les prompts étant généralement très longs, je ne pouvais les mettre en entier dans une image. En revanche, la réponse est bel et bien publiée en entier !
IMPORTANT : il y a beaucoup d’images, ce qui fait que le post pourrait ne pas être en entier dans votre boîte mail. Dans ce cas, cliquez sur “Lire dans un navigateur” ou quelque chose du genre (c’est peut-être en anglais).
C’est parti !
Test 1 : Répondre à un e-mail
L’objectif est de répondre à l’e-mail transmis par une supérieure hiérarchique, Marion, à Pierre. Ce dernier ne semble plus impliqué dans les projets de l’équipe.
Le début du prompt :
La réponse sur Mistral :
La réponse sur ChatGPT :
Je ne sais pas si vous avez remarqué, mais il y a un gros souci sur ChatGPT. Oui, je parle bien du “pourriez-nous” ! J’avoue, c’est la première fois que je vois une erreur aussi grossière sur GPT-4 .
Sinon, sur le fond, je trouve que la réponse de GPT-4 est plus appropriée et moins formelle que celle de Mistral. Elle correspond plus au contexte d’une conversation entre collègues. D’ailleurs, j’ai demandé à Mistral de faire quelque chose d’un peu moins formel juste après et c’était mieux.
ChatGPT 1 - 0 Mistral
Prompt 2 : Rédaction d’un post Linkedin
Ah, je vois tellement de posts made in ChatGPT sur Linkedin, sans relecture, avec GPT-3.5, qu’on en a mal aux yeux à force ! Mais, avec un prompt un peu travaillé, on arrive à quelque chose de plus intéressant.
Pour le post et le prompt en question, l’objectif est d’écrire un post sur “Mon burn-out m'a aidé à devenir l'entrepreneur que je suis.” Bien entendu, je donne du contexte pour arriver à quelque chose de présentable.
Le début du prompt :
La réponse sur Mistral :
La réponse sur ChatGPT :
Bon, pour moi, y’a clairement pas photo. Si aucun des 2 posts n’est parfait, la qualité de rédaction est meilleure sur Mistral.
Tandis que le post de ChatGPT demande une réécriture plus approfondie, le post de Mistral peut quasiment être publié tel quel !
ChatGPT 1 - 1 Mistral
Prompt 3 : Réécriture d’un contenu pour un autre réseau social
Le résultat précédent est sympa. Et si on le publiait ailleurs que sur Linkedin ? Si vous n’êtes pas créateur de contenu multiplateforme, vous ne savez peut-être pas que ce travail peut être très long.
C’est là que l’IA peut nous aider à aller plus vite. Avec le post précédent (j’ai choisi celui rédigé par Mistral), je demande à ce qu’il soit transformé en stories Instagram et thread Twitter.
Le début du prompt :
La réponse est assez longue, car il y a d’abord les stories, puis le thread Twitter ! Donc, je vais faire un par un.
La réponse de Mistral pour Instagram :
La réponse de ChatGPT pour Instagram :
Bon, je suis hyper partagé, car il y a un plus chez les deux :
Sur Mistral, la qualité de rédaction est meilleure,
Sur ChatGPT, on a des suggestions pour les photos et un CTA, ce qui est essentiel sur Insta.
Je vais donc mettre 1 point partout, même si je me dis que la qualité de rédaction est plus importante que la suggestion de photos.
ChatGPT 2 - 2 Mistral
La réponse de Mistral pour Twitter :
La réponse de ChatGPT pour Twitter :
Bon, malheureusement, ChatGPT n’a pas respecté l’une de mes consignes : aucun hashtag sur Twitter. Surtout que les hashtags qu’il met sont absolument sans intérêt.
Et si aucun des deux contenus nous fait sauter au plafond, ça reste meilleur sur Mistral.
ChatGPT 2 - 3 Mistral
Prompt 4 : Préparer un entretien d’embauche avec un candidat
Un cas d’usage que j’aime bien et qui pourrait aider certains d’entre vous qui êtes RH. Comment une IA peut vous aider à préparer un entretien d’embauche ? Avec un prompt pardi !
Le prompt en entier :
La réponse de Mistral :
La réponse de ChatGPT :
Sur ce cas d’usage, ChatGPT remporte une belle victoire grâce à la qualité des questions et surtout en faisant des thématiques.
Pas grand-chose à dire, il sort vainqueur haut la main.
ChatGPT 3 - 3 Mistral
Prompt 5 : Rédiger un poème à la Jacques Prévert
Pour ce dernier cas d’usage, j’ai voulu m’amuser un peu. C’est vraiment très rare que je le fasse avec l’IA, mais je sais que ça plaît à beaucoup de gens !
Le thème ? Écrire un poème sur la culture du café au Honduras et le ressenti des travailleurs du café, à la façon de Jacques Prévert.
Le prompt :
Tu es un célèbre poète Tu arrives à écrire exactement comme le faisait Jacques Prévert, peu importe le thème du poème.
Rédige un poème sur la culture du café au Honduras et sur les travailleurs du café, un métier difficile et usant.
La réponse sur Mistral :
La réponse sur ChatGPT :
Il faut vraiment être spécialiste pour comprendre pourquoi Mistral sort vainqueur sur ce prompt.
En fait, les rimes chez Prévert n’étaient pas vraiment aussi “bien organisées” que dans la version de ChatGPT. Vous avez plein d’exemples ici. Parfois il y a des rimes, parfois non. Oui, j’ai été vérifier et j’ai demandé à une personne qui s’y connaît en poésie 🙂
Et dans la version de Mistral, on retrouve cette façon d’écrire qui n’est pas très présente dans la version de ChatGPT. C’est donc Mistral qui remporte ce duel.
ChatGPT 3 - 4 Mistral
Vainqueur : Mistral AI
C’était pas faute de le répéter depuis plusieurs semaines sur Linkedin. L’outil développé par Mistral est excellent et en plus, il est pour l’instant gratuit. Alors n’attendez plus pour le tester et vous savez ce que vous devez faire.
Voilà, c’est tout pour aujourd’hui, à la semaine prochaine 😌