Édition 40 - Mon test complet de Mistral AI !
#40 Alors, vraiment un concurrent pour ChatGPT ?
Si vous aimez mon contenu, cliquez sur le ❤ au-dessus et à côté de mon nom pour m’aider à remonter sur Substack ou Gmail et parce que ça me donne encore plus envie de faire mieux la prochaine fois 😊
C’est jeudi, le jour d’EthicGPT ! 😊 Je suis très heureux de vous retrouver pour cette 40e édition !
Si quelqu’un vous a transféré cette édition et que le contenu vous plaît, n’hésitez pas à vous abonner et à la transférer également. Cela m’aidera beaucoup pour faire connaître mon travail 😌
Quelques liens utiles si jamais vous débarquez ici pour la première fois :
Vous souhaitez sponsoriser cette newsletter ? C’est par ici
La présentation et les archives de cette newsletter
Enfin, si vous souhaitez une formation d’une demi-journée ou d’une journée pour vos équipes, vous pouvez réserver un créneau via ce lien. Merci de bien lire la description avant de réserver :)
Prêt(e) à consacrer ces quelques sur l’IA avec moi ? C’est parti 🚀
POINT TRÈS IMPORTANT: Vous n’aurez pas toute l’édition dans ce mail, car il y a trop d’images. Allez la lire en ouvrant votre navigateur Web (il y a un lien quelque part de type “lire dans un navigateur”) ou directement sur Substack.
Après des semaines de procrastination, je m’y suis enfin mis. J’ai enfin testé Mistral. Déjà, pourquoi autant de réticence à aller voir ailleurs ?
J’ai souhaité focaliser mon activité sur ChatGPT, parce que c’est ce que demandent les clients. Ensuite, les alternatives disponibles en Europe (je ne parle donc pas de Claude) ont été très décevantes. Bon, je pense surtout à Google Bard/Gemini.
Néanmoins, Mistral, c’est différent. Déjà, c’est français. À ce jour, c’est le seul outil IA d’envergure qui n’est pas américain. Ensuite, j’ai vu des démos, vidéos et j’ai écouté des amis. Tous sont impressionnés par la qualité des réponses de Mistral. Il me semblait donc nécessaire d’essayer. Et si je teste, alors pourquoi pas en faire une édition de newsletter.
Cette édition est donc un test complet de Mistral. J’ai voulu faire concis et montrer les cas d’usage vraiment intéressants pour le plus grand nombre d’entre vous.
C’est quoi Mistral AI ?
On commence par la base, mais ça ira vite ! Si vous avez compris le principe de ChatGPT, je n’ai pas besoin d’aller trop loin sur la présentation de Mistral. En gros, c’est la même chose.
Mistral est un agent conversationnel (chatbot) utilisant l’IA pour générer du contenu. Le contenu généré correspond à ce que comprend l’outil de la requête d’un utilisateur, appelé prompt. Bref, on retrouve le prompting et le chatbot. Jusqu’ici, rien de nouveau.
Jusqu’à il y a peu, Mistral était uniquement open source et son accessibilité n’était pas aisée. Il fallait principalement passer par l’API. Désormais, il suffit de s’inscrire et d’utiliser “Le Chat”. Voici le lien pour s’inscrire. En fait, c’est le lien du Chat, mais si vous n’êtes pas inscrit, vous serez redirigé(e) automatiquement.
Première constatation, ça ressemble vraiment à ChatGPT. C’est le but.
Première chose à éclaircir : le LLM de Mistral.
En fait, comme pour tous les autres chatbots alimentés par l’IA, Le Chat est juste une interface pour permettre aux utilisateurs de discuter avec un LLM. Chez Mistral, il y en a 3 : Large, Next, Small.
Bon, en fait, il y en a d’autres, comme le 7B. Mais ces autres, ce sont les modèles open source, notamment disponible sur Hugging Face. Car oui, Mistral a abandonné son business model 100 % open source et a même fait un partenariat de distribution avec Microsoft. J’avais déjà expliqué pourquoi l’open source est louable, mais utopique pour rivaliser avec les gros.
Les LLM présents sur Le Chat sont donc des modèles propriétaires, comme GPT-3.5, GPT-4, Gemini, Claude 2 ou encore Claude 3.
Point important : Mistral annonce une fenêtre contextuelle de 32 000 tokens, soit environ 25 000 mots de mémoire par chat.
Mistral est-il payant ?
Oui, Le Chat est payant et fonctionne sur le principe de “pay what you used”. Le modèle le plus cher, Large, a pour tarif :
7,30 € / 1 million de tokens en input (nos messages),
22 € / 1 million de tokens en output (les réponses de Mistral).
1 million de tokens correspond à environ 750 000 mots. Bref, on est… large ! (oui elle était facile).
Quelles sont les fonctionnalités de Mistral ?
Le mieux, c’est de lui demander directement !
On va en essayer quelques-uns !
Mais tout de suite, je me demande si on peut faire la même chose que sur la version payante de ChatGPT.
Contrairement à ChatGPT Plus ou Team, Mistral ne fait donc que de la génération de texte. Il m’a d’ailleurs surpris pour le partage de documents et a fait du ChatGPT. Il n’avait jamais pas bien compris.
Rien de grave, il s’est corrigé après.
Non, on ne peut pas encore partager de documents sur Mistral, il n’y a pas de fonctionnalité Advanced Data Analysis. Par contre, je ne savais pas pour le lien ! J’ai donc testé immédiatement.
Ça fonctionne bien et j’ai été impressionné par la rapidité d’analyse. En même pas une seconde, il commençait à rédiger le 1 ! Pour info, j’ai partagé ce lien.
Bref, si on résume :
Mistral peut répondre à n’importe quelle requête textuelle,
Mistral peut lire et analyser des URL,
Mais Mistral ne peut pas créer des images,
Il n’offre pas non plus la possibilité de partage de documents, ni celle de créer un robot personnalisé.
C’est bien, ça va me faciliter le test et je vais me concentrer sur la requête textuelle.
Mon test de Mistral
Rappel : Vous n’aurez pas toute l’édition dans ce mail, car il y a trop d’images. Allez la lire en ouvrant votre navigateur Web (il y a un lien quelque part de type “lire dans un navigateur”) ou directement sur Substack.
Je vais présenter 5 cas d’usage sur Mistral. Précision importante, il ne s’agit pas d’une comparaison avec ChatGPT.
En revanche, les prompts utilisés sont les mêmes que ceux utilisés sur ChatGPT. Car je vais démystifier quelque chose immédiatement : pour les LLM de génération de texte, les différences de prompting sont au mieux inexistantes, au pire minimes. Ce n’est pas du tout la même chose pour les générateurs d’images.
Si vous êtes une personne utilisant régulièrement ChatGPT, vous allez donc vous y retrouver.
Les 5 cas d’usage que je vais tester sur Mistral sont :
Répondre à un e-mail,
Transformer un contenu,
Aide à la gestion de projet,
Aide à la prospection,
Rédaction d’une note juridique.
Pour les 4 premiers, j’ai essayé d’englober le plus de monde possible. Pour le 5e cas d’usage, si cela concerne plutôt les professionnels du droit, c’est aussi pour tester la capacité de Mistral à générer du contenu long.
Allez, c’est parti pour le premier cas d’usage.
Cas d’usage 1 : Répondre à un e-mail
Ce cas, on le retrouve partout et tout le temps. Parce que ça concerne tous les métiers et que personne n’aime écrire 15 mails par jour.
On sait déjà que ChatGPT nous aide. Et si Mistral pouvait aussi tirer son épingle du jeu ?
Je lui ai mis un prompt “simple”, en lui donnant le mail reçu auquel répondre et un exemple de mail que j’ai écrit pour qu’il reprenne mon style.
Je lui ai également donné quelques consignes sur l’objectif de réponse (positif, négatif, etc) et la longueur du mail.
Voici le prompt en question.
Et voici sa réponse.
Je suis assez surpris par la qualité de la réponse, qui est presque trop bonne. Mistral a été plus loin que ce que je voulais, en mentionnant des raisons de refus parfaitement entendables (contre l’emailing de masse, avocats trop occupés, pas de mails non sollicités).
Le style est bon, même s’il n’est pas forcément le mien. En revanche, le point positif fut la rapidité, car la réponse est sortie en moins de 20 secondes. Et en moins de 20 secondes, on a un mail à relire, à changer un peu et à envoyer.
Premier test concluant.
Note : 9/10
Cas d’usage 2 : Transformer un contenu
La transformation d’un contenu, cela peut être 2 choses.
La première, c’est passer d’une plateforme A à une plateforme B. Généralement, c’est d’un réseau social à un autre. La seconde, c’est transformer la structure d’un contenu, par exemple d’un article de blog à un post Linkedin. J’ai pris le premier exemple, en demandant la transformation d’un post Linkedin en thread Twitter et en plusieurs stories Instagram.
Voici le prompt.
Et voici la réponse.
N’étant pas spécialiste de ces 2 réseaux, surtout Insta, difficile pour moi de juger. Mais je trouve que c’est de bonne facture pour quelque chose de généré en 30 secondes.
En tout cas, depuis GPT-4, je n’avais plus vu un contenu aussi qualitatif.
Note : 8/10
Cas d’usage 3 : Aide à la gestion de projet
Un cas d’usage que j’aime bien, car c’est là qu’on voit la capacité de “raisonnement” du LLM. Vous avez un gros projet à mener et vous ne savez pas comment vous y prendre ? Mistral va vous être d’une grande aide !
Regardez par vous-même.
Un prompt assez complet. Maintenant, observez la réponse.
2 remarques :
La qualité est vraiment extra ! Je suis très content de la réponse fournie…
… mais où est mon tableau par contre ?
Bon c’est pas grave, 2e chance.
Mon tableau est finalement là, en 2 parties. Pour un contenu aussi compliqué, Mistral s’en est très bien sorti. J’ai un plan pour mon projet en 2 minutes et je peux l’adapter si besoin en partant de cette base.
Note : 9/10
Cas d’usage 4 : Aide à la prospection
Un classique des cas d’usage, avec l’e-mail. Prospecter est indispensable pour bon nombre d’entreprises et d’entrepreneurs ou d’indépendants.
On savait que ChatGPT pouvait nous aider à aller plus vite.
Et Mistral ? Testons ensemble !
Un prompt assez long, qui a l’air complet, mais qui ne l’est pas forcément. Et ça va se ressentir dans la réponse.
Mistral manquait d’informations sur “moi”. Il a donc cru que j’étais une entreprise, qu’on était plusieurs, etc. Résultat, la réponse est mal adaptée dans ce contexte. Mais c’est de ma faute. Et ce n’est pas si grave.
Le fond est au bon, même si trop générique. Mais là aussi, ça s’adapte dans le prompt.
J’ai bien aimé le fait de rédiger un message pour les e-mails et un message pour Linkedin.
Note : 7/10
Cas d’usage 5 : Aide à la rédaction d’une note juridique
Alors oui, sur le fond, ce cas d’usage ne va pas intéresser tout le monde, car c’est du pur droit.
En revanche, regardez la forme et la façon de générer un contenu long :
Prompt initial, avec ou sans données externes,
Série de questions posées par Mistral,
Réponse aux questions,
Génération du contenu demandé.
Dans mon exemple, je cite une circulaire suisse, donc des données externes.
Voici le prompt, que je vais couper, car je cite entièrement une circulaire suisse !
(Je vous épargne la longue citation de la circulaire)
S’ensuit alors un échange avec Mistral.
Et voici la note !
Les juristes peuvent regarder le fond. Tout le monde doit regarder la forme. C’est vraiment de très bonne facture et de qualité. Mistral maîtrise très bien l’échange avec l’utilisateur.
C’était un peu le test ultime, car il s’agit d’une demande complexe et Mistral a très bien passé le test !
Note : 9/10
Mon avis sur Mistral
Je ne vais pas dire que je ne suis pas surpris. Mais avec tout ce que j’avais vu en test vidéo ou avec un ami, je savais où je mettais les pieds. En gros, je savais que c’était pas Gemini !
Mistral est un LLM de grande qualité, qui fait de très belles choses et qui a encore une super marge de progression.
Pour la simple génération de texte, je recommande Mistral les yeux fermés. Le problème, c’est la limitation des fonctionnalités. Vu que je fais tourner beaucoup de GPTs, je dois encore rester sur ChatGPT.
Mais je suis impatient de voir la suite !
Voilà, c’est tout pour aujourd’hui, à la semaine prochaine 🙂
bravo ! analyse des plus "éclairante" : fouillée, pragmatique, éclectique avec des exemples "parlants"
Non il n'a pas accès à internet, il a simplement essayé de deviner ce qui se trouvait dans l'article (d'ailleurs il se plante dans son point 3 en indiquant que l'inflation est inférieure à 2 %, ce qui est un contresens majeur...). Pour vous en convaincre, vous pouvez essayer de lui demander de citer un extrait de l'article ou de lui poser une question très précise sur son contenu, qu'il ne peut pas deviner à partir de l'URL et du contexte.