Allegati e multimodalità

Una conversazione non è fatta solo di testo digitato. Qualcuno può registrare una nota vocale, scattare una foto o trascinare un PDF nella chat. AnyBot permette a un agente di recepire tutto questo durante la conversazione: trascrive la voce, descrive le immagini e legge i documenti, poi integra ciò che ha trovato nello stesso turno, così l'agente risponde come se la persona avesse digitato il testo. Questa pagina spiega cosa è realmente supportato, come funziona e cosa arriva all'agente su ciascun canale.

Note vocali → trascrizione

Quando arriva un messaggio con una registrazione audio, AnyBot la scarica ed esegue la conversione da voce a testo, poi inserisce la trascrizione nel messaggio dell'utente. La trascrizione è multilingue, arabo incluso, quindi una domanda pronunciata in qualsiasi lingua supportata diventa testo che l'agente legge normalmente.

La risposta dell'agente torna indietro come testo. Trasformare quella risposta in audio parlato (da testo a voce) è un passaggio separato, lato canale, non qualcosa che l'agente fa da sé.

Immagini → descrizione

Allega una foto, uno screenshot, l'immagine di un prodotto, uno scontrino, e un modello di visione la esamina e ne produce una descrizione scritta, che l'agente poi legge. Questo è importante per capire cosa aspettarsi: l'agente lavora a partire da una descrizione dell'immagine, anziché vederne i pixel in modo nativo. È ottimo per "cosa c'è in questa foto", "leggi questa etichetta" o "che errore c'è su questa schermata", ed è più debole per una misurazione precisa al pixel. Se un'immagine non può essere recuperata o descritta, il turno prosegue senza di essa invece di fallire.

Documenti → testo estratto

Invia un file e AnyBot ne rileva il tipo, estrae il testo e lo passa all'agente. Formati supportati:

Un tipo non supportato non interrompe la conversazione, all'agente viene semplicemente detto che è stato allegato un file che non può leggere, così può chiedere un formato diverso invece di tirare a indovinare.

Come l'agente "legge" un allegato

Il filo conduttore: ogni allegato diventa testo prima che l'agente lo veda. Una nota vocale diventa una trascrizione, un'immagine diventa una descrizione, un documento diventa il suo contenuto estratto, ciascuno inserito nello stesso turno dell'utente come nota in linea (recapitata al modello come un blocco [AUTO](…)). Una conseguenza che vale la pena capire: l'agente gestisce una domanda pronunciata o mostrata in foto con lo stesso identico ragionamento, gli stessi strumenti e le stesse protezioni che usa per il testo digitato. Le tue impostazioni di comportamento e protezioni e di risposta-solo-dalla-conoscenza si applicano in modo identico, e un pacchetto di modelli più capace ragiona sulla trascrizione o sulla descrizione esattamente come farebbe su un input digitato.

Due limiti onesti derivano da questo design: gli allegati sono per turno (non salvati come conoscenza, vedi sotto) e la comprensione delle immagini è basata sulla descrizione, non precisa al pixel.

Cosa inoltra ciascun canale

Un allegato raggiunge l'agente solo se il canale lo ha recapitato, e questo varia da piattaforma a piattaforma. Il widget di chat web accetta i caricamenti direttamente; i canali di messaggistica inoltrano le note vocali, le foto e i file che i loro stessi utenti inviano. Un canale che non supporta un dato tipo di allegato semplicemente non lo passerà, l'agente vede quindi solo il testo eventualmente arrivato con il messaggio. Invece di presumere che un canale supporti la voce o i file, testa quello specifico che ti interessa con un allegato reale e conferma che l'agente vi risponda.

Allegati e base di conoscenza a confronto

Sono superfici diverse, e vale la pena tenerle distinte. Un allegato è un contesto effimero per una sola conversazione, il file che un cliente invia in questo momento, usato solo per questo turno. La base di conoscenza è un addestramento duraturo che curi una volta sola: documenti e pagine che aggiungi perché ogni conversazione futura possa attingervi. Usa gli allegati per "ecco la mia situazione" e la base di conoscenza per "ecco ciò che l'agente sa sempre."

C'è una bella simmetria: un'immagine che aggiungi alla base di conoscenza viene anch'essa letta dall'AI di visione e indicizzata come testo, lo stesso approccio basato sulla descrizione, reso permanente invece che per turno.

Prossimi passi

• Base di conoscenza, addestramento duraturo vs. allegati durante la chat
• Abilità (strumenti), cosa l'agente può fare una volta compresa la richiesta
• Testare il tuo agente, invia un allegato reale e osserva il turno