Multimodaler WhatsApp-KI-Agent

Eine Sprachnachricht.Eine Antwort.

Beginnen Sie mit einem Workflow für Text-, Audio-, Bild- und PDF-Eingaben. Passen Sie die Anweisungen an und testen Sie die Formate, die Sie bearbeiten möchten.

Kostenlos starten In Aktion sehen

Erfordert einen Tarif mit Flows, eingerichtete Verbindungen und einen Testlauf.

Eine Person prüft eine Bestellung auf dem Handy, während eine Kollegin im Geschäft Pakete vorbereitet.

Eine Aufgabe Ihres Unternehmens

Audio: „Um wie viel Uhr kann ich die Bestellung abholen?“

PulpoChatAntwort in WhatsApp

Audio: „Um wie viel Uhr kann ich die Bestellung abholen?“

WhatsAppEmpfangen Sie die Audionachricht
OpenAIBereiten Sie die Antwort vor
WhatsAppWählen Sie Text oder Audio

Antwort in WhatsApp

Sie können sie von Montag bis Freitag zwischen 10 und 18 Uhr abholen.

Beginnen Sie mit einem vorbereiteten Workflow

Passen Sie Verbindungen und Daten an

Testen Sie vor der Aktivierung

Vom Start zum Ergebnis.

Sie haben die Abholzeiten in den Anweisungen des KI-Agenten hinterlegt.

Eine Audionachricht eines Kunden geht ein

Multimodaler WhatsApp-KI-Agent

Audio: „Um wie viel Uhr kann ich die Bestellung abholen?“

Sie haben die Abholzeiten in den Anweisungen des KI-Agenten hinterlegt.

PulpoChatAntwort in WhatsApp

Audio: „Um wie viel Uhr kann ich die Bestellung abholen?“

WhatsAppEmpfangen Sie die Audionachricht
Der Audiozweig lädt die Nachricht herunter und transkribiert sie.
OpenAIBereiten Sie die Antwort vor
Der KI-Agent antwortet anhand der eingerichteten Anweisungen.
WhatsAppWählen Sie Text oder Audio
Die Ausgabebedingung leitet die Antwort über den vorbereiteten Zweig.

Antwort in WhatsApp

Sie können sie von Montag bis Freitag zwischen 10 und 18 Uhr abholen.

Das Beispiel zeigt den Audiozweig. Prüfen Sie Text, Bilder und PDF getrennt.

Schritte der Vorlage erkunden

Das Diagramm zeigt die Knoten und Verbindungen aus dem Katalog. Prüfen Sie ihre Felder und Zugangsdaten im Flows-Editor.

Ver la descripción original del catálogo

*Create your Custom Business AI Agent that speaks, sees, listens and replies to your customers.* #### 🚀 What this workflow does 1. **Receives any inbound WhatsApp message** via a **PulpoChat Trigger** 2. **Detects the medium** – text, voice note, image or document (PDF) 3. **Processes accordingly** - **Text** → straight to the AI brain - **Voice notes** → download ➜ **Whisper** transcription - **Images** → download ➜ **GPT-4o Vision** analysis - **PDFs only** → download ➜ text extraction 4. Feeds the cleaned input + short-term **memory buffer (20 turns)** to an **OpenAI Chat Agent** (GPT-4o-mini by default) 5. Sends the answer back through PulpoChat: - **If the user sent audio, the bot replies in audio** (OpenAI TTS ➜ saves mp3 to Google Drive ➜ returns the public link). - Otherwise, returns plain text. 6. Gracefully rejects anything that isn’t text, image, audio or a PDF (“Sorry, you can only send …”) *Result:* a polite, context-aware concierge that can read your contract, describe your cat photo, or summarize a 3-minute rant into a single line—without ever leaving WhatsApp. #### 🧩 Key components | Node | Purpose | |------|---------| | **PulpoChat Trigger / PulpoChat** | Receive & send WhatsApp messages | | **Switch → “Input type”** | Routes to Text / Audio / Image / Document branches | | **HTTP Request** | Securely downloads media from PulpoChat | | **OpenAI Whisper** | Turns voice notes into text | | **GPT-4o Vision** | Describes images in detail | | **Extract From File** | Converts PDFs to text | | **LangChain Agent** | Central brain with custom system prompt | | **Memory Buffer Window** | Keeps the last 20 turns per chat | | **OpenAI TTS (“Generate Audio Response”)** | Converts answers to speech (voice “nova”) | | **Google Drive (Upload + Delete)** | Stores the mp3, grabs a share link, cleans up | (Sticky notes in the canvas label the four media lanes so future-you won’t get lost.) #### 🛠️ Prerequisites - **PulpoChat** device + API key - **OpenAI** API key (chat, whisper, TTS, vision) - **Google Drive** OAuth credentials (for audio replies) #### 💡 Ideas & extensions - Pipe extracted conversation data into HubSpot or Airtable. - Replace GPT-4o with your on-prem model ➜ just swap the Chat node. - Add a **Sentiment** node to auto-escalate angry customers. - Expand document branch to Word, PowerPoint or spreadsheets. #### ⚖️ Limits & best-practice nudges - Only PDFs are accepted for now; other file types trigger a polite rejection. - The workflow rate-limits itself by design (single execution per message), but you may want extra guards if you point it at a large audience. - Delete Google Drive files after sending (already included) to keep storage costs clean. - Remember WhatsApp’s 24-hour customer-initiated window. #### 🏁 Ready, set, automate! Import → Hit **Active**. Your WhatsApp number just became a futuristic, multimodal AI agent. Enjoy the peace and quiet while it handles the chatter. 😉

Der Workflow ist vorbereitet. Sie richten ihn ein.

Melden Sie sich in Pulpo an, öffnen Sie Flows und suchen Sie diese Vorlage nach ihrem Namen. Der Button „Vorlage verwenden“ lädt den Workflow in den Editor.

Wählen Sie „Vorlage verwenden“
Öffnen Sie Flows in Ihrem Konto und wählen Sie diese Vorlage im Katalog aus. «KI-Agent-Bot der Text, Audio, Bilder und Dokumente versteht»
Richten Sie die Verbindungen ein
Ergänzen Sie Zugangsdaten, Daten und Anweisungen für Ihre Unternehmensaufgabe.
Testen Sie das Ergebnis
Führen Sie einen repräsentativen Fall aus und prüfen Sie jeden Schritt, bevor Sie den Workflow aktivieren.

Bevor Sie starten

Ein Pulpo-Konto und ein Tarif, in dem Flows verfügbar ist.
Zugangsdaten für OpenAI und Google Drive für die Zweige, die diese Dienste nutzen.
Geprüfte Anweisungen, unterstützte Formate und Bedingung für Audioantworten.

Kostenlos starten Tarife und Bedingungen ansehen

Bevor Sie diese Vorlage verwenden.

Was sollten Sie in diesem Workflow prüfen?

Der Katalogtitel kennzeichnet diese Variante. Er steht weder für einen vollständigen Kurs noch für ein garantiertes Verständnis beliebiger Dateien.

Was passiert nach meiner Registrierung?

Öffnen Sie Flows und wählen Sie im Katalog „Vorlage verwenden“. Mit der Registrierung wird Ihr Konto eröffnet; den Workflow müssen Sie noch einrichten und testen.

Kann ich die Schritte ändern oder den Workflow stoppen?

Sie können die Knoten bearbeiten und den Workflow im Editor deaktivieren. Wiederholen Sie die Tests, wenn Sie Anweisungen, Verbindungen oder Daten ändern.

Können externe Verbindungen zusätzliche Kosten verursachen?

Ja. KI-Modelle und verbundene Dienste können ein eigenes Konto, Berechtigungen und Nutzungsgebühren erfordern. Prüfen Sie jede Verbindung der Vorlage.

Wählen Sie die benötigte Aufgabe aus.

Alle Vorlagen ansehen