Comment j'ai construit PaulBot : un assistant IA fiable à budget quasi nul

PaulBot, c'est l'assistant IA de mon portfolio : il répond en streaming aux questions sur mon parcours, mes compétences et mes projets. Le vrai défi n'était pas de brancher un LLM, mais de le rendre fiable et honnête… sans budget.

Contrainte n°1 : les tokens. Les offres gratuites sont vite limitées. Ma parade : répondre côté client, sans appeler le modèle, à toutes les questions déterministes — « est-il dispo ? », « son email ? », « son CV ? », « son parcours ? ». Un routeur d'intention les intercepte et renvoie une réponse toute prête. Résultat : les questions les plus fréquentes coûtent zéro token.

Contrainte n°2 : la fiabilité. Un fournisseur gratuit peut renvoyer un 429 (quota) à tout moment. J'ai donc mis en place une bascule multi-fournisseurs : Groq en primaire, puis Cerebras, puis Gemini — tous en API compatible OpenAI. Si l'un échoue avant le premier octet, on passe au suivant, de façon transparente. C'est de la résilience légitime (un compte par fournisseur), pas du multi-comptes.

L'honnêteté, ensuite. Un LLM adore inventer pour « faire plaisir ». J'ai posé des garde-fous stricts : répondre uniquement à partir des connaissances fournies, distinguer une capacité (iOS via Flutter) d'une techno absente (Swift), et — pour toute demande d'anecdote — ne rien broder mais renvoyer vers le livre. Mieux vaut dire « je n'ai pas ce détail » que d'halluciner.

La fonctionnalité dont je suis le plus fier : le pitch sur-mesure. Un recruteur colle une offre d'emploi, et PaulBot produit une analyse de correspondance honnête — un tableau exigence par exigence, avec ce que je couvre vraiment (preuve nommée) et ce qui manque, plutôt qu'un « je suis parfait pour tout ». La franchise vend mieux.

Un exemple concret — le mode recruteur (capture ci-dessus) : le visiteur choisit « Je recrute », colle une offre d'emploi, et PaulBot renvoie un tableau exigence par exigence (✅ couvert, ≈ proche, ❌ absent), sans jamais gonfler le profil. Il termine par un point de contact ; si le recruteur laisse son email, Paul reçoit l'offre et les détails par mail, et le recruteur un accusé de réception.

Un dernier détail d'ingénierie : les relances. Plutôt qu'un second appel au modèle pour suggérer les questions suivantes, le LLM les glisse dans sa réponse via un marqueur invisible que le front transforme en pastilles. Qualité d'un LLM, coût de zéro appel supplémentaire.

La leçon : la contrainte force la créativité. Pas de budget m'a poussé à répondre sans le modèle quand c'est possible, à répartir la charge proprement, et à faire de l'honnêteté un argument. Le tout tient sur un backend NestJS, en streaming (SSE), et tourne aujourd'hui sur mon portfolio.