Agent d’IA WhatsApp multimodal

Un message vocal.Une réponse.

Partez d’un workflow acceptant le texte, l’audio, les images et les PDF. Adaptez les instructions et testez les formats que vous utiliserez.

Commencer gratuitement Voir en action

Nécessite un abonnement avec Flows, des connexions configurées et une exécution de test.

Une personne consulte une commande sur son téléphone pendant qu’une collègue prépare des colis dans la boutique.

Une tâche de votre entreprise

Audio : « À quelle heure puis-je récupérer la commande ? »

PulpoChatRéponse sur WhatsApp

Audio : « À quelle heure puis-je récupérer la commande ? »

WhatsAppRecevez l’audio
OpenAIPréparez la réponse
WhatsAppChoisissez le texte ou l’audio

Réponse sur WhatsApp

Vous pouvez la retirer du lundi au vendredi, de 10 à 18 h.

Partez d’un workflow préparé

Adaptez les connexions et les données

Testez avant d’activer

Du début au résultat.

Vous avez inclus les horaires de retrait dans les instructions de l’agent d’IA.

Un message audio arrive d’un client

Agent d’IA WhatsApp multimodal

Audio : « À quelle heure puis-je récupérer la commande ? »

Vous avez inclus les horaires de retrait dans les instructions de l’agent d’IA.

PulpoChatRéponse sur WhatsApp

Audio : « À quelle heure puis-je récupérer la commande ? »

WhatsAppRecevez l’audio
La branche audio télécharge et transcrit le message.
OpenAIPréparez la réponse
L’agent d’IA répond avec les instructions configurées.
WhatsAppChoisissez le texte ou l’audio
La condition de sortie dirige la réponse vers la branche préparée.

Réponse sur WhatsApp

Vous pouvez la retirer du lundi au vendredi, de 10 à 18 h.

L’exemple présente la branche audio. Vérifiez séparément le texte, les images et les PDF.

Explorer les étapes du modèle

Le diagramme présente les nœuds et connexions du catalogue. Vérifiez leurs champs et identifiants dans l’éditeur Flows.

Ver la descripción original del catálogo

*Create your Custom Business AI Agent that speaks, sees, listens and replies to your customers.* #### 🚀 What this workflow does 1. **Receives any inbound WhatsApp message** via a **PulpoChat Trigger** 2. **Detects the medium** – text, voice note, image or document (PDF) 3. **Processes accordingly** - **Text** → straight to the AI brain - **Voice notes** → download ➜ **Whisper** transcription - **Images** → download ➜ **GPT-4o Vision** analysis - **PDFs only** → download ➜ text extraction 4. Feeds the cleaned input + short-term **memory buffer (20 turns)** to an **OpenAI Chat Agent** (GPT-4o-mini by default) 5. Sends the answer back through PulpoChat: - **If the user sent audio, the bot replies in audio** (OpenAI TTS ➜ saves mp3 to Google Drive ➜ returns the public link). - Otherwise, returns plain text. 6. Gracefully rejects anything that isn’t text, image, audio or a PDF (“Sorry, you can only send …”) *Result:* a polite, context-aware concierge that can read your contract, describe your cat photo, or summarize a 3-minute rant into a single line—without ever leaving WhatsApp. #### 🧩 Key components | Node | Purpose | |------|---------| | **PulpoChat Trigger / PulpoChat** | Receive & send WhatsApp messages | | **Switch → “Input type”** | Routes to Text / Audio / Image / Document branches | | **HTTP Request** | Securely downloads media from PulpoChat | | **OpenAI Whisper** | Turns voice notes into text | | **GPT-4o Vision** | Describes images in detail | | **Extract From File** | Converts PDFs to text | | **LangChain Agent** | Central brain with custom system prompt | | **Memory Buffer Window** | Keeps the last 20 turns per chat | | **OpenAI TTS (“Generate Audio Response”)** | Converts answers to speech (voice “nova”) | | **Google Drive (Upload + Delete)** | Stores the mp3, grabs a share link, cleans up | (Sticky notes in the canvas label the four media lanes so future-you won’t get lost.) #### 🛠️ Prerequisites - **PulpoChat** device + API key - **OpenAI** API key (chat, whisper, TTS, vision) - **Google Drive** OAuth credentials (for audio replies) #### 💡 Ideas & extensions - Pipe extracted conversation data into HubSpot or Airtable. - Replace GPT-4o with your on-prem model ➜ just swap the Chat node. - Add a **Sentiment** node to auto-escalate angry customers. - Expand document branch to Word, PowerPoint or spreadsheets. #### ⚖️ Limits & best-practice nudges - Only PDFs are accepted for now; other file types trigger a polite rejection. - The workflow rate-limits itself by design (single execution per message), but you may want extra guards if you point it at a large audience. - Delete Google Drive files after sending (already included) to keep storage costs clean. - Remember WhatsApp’s 24-hour customer-initiated window. #### 🏁 Ready, set, automate! Import → Hit **Active**. Your WhatsApp number just became a futuristic, multimodal AI agent. Enjoy the peace and quiet while it handles the chatter. 😉

Le workflow est prêt. À vous de le configurer.

Connectez-vous à Pulpo, ouvrez Flows et recherchez ce modèle par son nom. Le bouton « Utiliser le modèle » charge le workflow dans l’éditeur.

Choisissez « Utiliser le modèle »
Ouvrez Flows dans votre compte et choisissez ce modèle dans le catalogue. «Bot Agent IA qui comprend le texte, l'audio, les images et les documents»
Préparez ses connexions
Renseignez les identifiants, les données et les instructions pour votre tâche.
Testez le résultat
Exécutez un cas représentatif et vérifiez chaque étape avant d’activer le workflow.

Avant de commencer

Un compte et un forfait Pulpo avec Flows disponible.
Identifiants OpenAI et Google Drive pour les branches qui les utilisent.
Instructions, formats acceptés et condition de réponse audio vérifiés.

Commencer gratuitement Voir les forfaits et les conditions

Avant d’utiliser ce modèle.

Que faut-il vérifier dans ce workflow ?

Le titre du catalogue identifie cette variante. Il ne désigne pas un cours complet et ne garantit pas la compréhension de tous les fichiers.

Que se passe-t-il après mon inscription ?

Ouvrez Flows et choisissez « Utiliser le modèle » dans le catalogue. L’inscription ouvre votre compte ; vous devrez encore configurer et tester le workflow.

Puis-je modifier les étapes ou arrêter le workflow ?

Vous pouvez modifier les nœuds et désactiver le workflow dans l’éditeur. Répétez les tests après toute modification des instructions, connexions ou données.

Les connexions externes peuvent-elles entraîner des coûts supplémentaires ?

Oui. Les modèles d’IA et les services connectés peuvent nécessiter leur propre compte, des autorisations et des frais d’utilisation. Vérifiez chaque connexion du modèle.

Choisissez la tâche dont vous avez besoin.

Voir tous les modèles