Archivos adjuntos y multimodalidad

Una conversación no es solo escribir. Alguien puede grabar una nota de voz, tomar una foto o arrastrar un PDF al chat. AnyBot permite que un agente recoja todo eso en plena conversación: transcribe el habla, describe las imágenes y lee los documentos, luego integra lo que encontró en el mismo turno para que el agente responda como si la persona lo hubiera escrito. Esta página cubre qué está realmente admitido, cómo funciona y qué llega al agente en cada canal.

Notas de voz → transcripción

Cuando llega un mensaje con una grabación de audio, AnyBot la descarga y ejecuta la conversión de voz a texto, luego inserta la transcripción en el mensaje del usuario. La transcripción es multilingüe, árabe incluido, así que una pregunta hablada en cualquier idioma admitido se convierte en texto que el agente lee con normalidad.

La respuesta del propio agente vuelve como texto. Convertir esa respuesta en audio hablado (conversión de texto a voz) es un paso aparte, del lado del canal, no algo que el agente haga por sí mismo.

Imágenes → descripción

Adjunta una foto, una captura de pantalla, la imagen de un producto, un recibo, y un modelo de visión la examina y produce una descripción escrita, que el agente luego lee. Esto importa para las expectativas: el agente trabaja a partir de una descripción de la imagen en lugar de ver los píxeles de forma nativa. Es excelente para «¿qué hay en esta foto?», «lee esta etiqueta» o «¿qué error aparece en esta pantalla?», y más débil para una medición precisa al píxel. Si una imagen no se puede recuperar o describir, el turno continúa sin ella en lugar de fallar.

Documentos → texto extraído

Envía un archivo y AnyBot detecta su tipo, extrae el texto y se lo entrega al agente. Formatos admitidos:

Un tipo no admitido no interrumpe la conversación, simplemente se le indica al agente que se adjuntó un archivo que no puede leer, para que pueda pedir un formato distinto en lugar de adivinar.

Cómo «lee» el agente un archivo adjunto

El hilo común: cada archivo adjunto se convierte en texto antes de que el agente lo vea. Una nota de voz se convierte en una transcripción, una imagen en una descripción, un documento en su contenido extraído, cada uno insertado en el mismo turno del usuario como una nota en línea (entregada al modelo como un bloque [AUTO](…)). Una consecuencia que vale la pena entender: el agente maneja una pregunta hablada o mostrada en foto con exactamente el mismo razonamiento, las mismas herramientas y las mismas límites de seguridad que usa para el texto escrito. Tus ajustes de comportamiento y límites de seguridad y de responder únicamente a partir del conocimiento se aplican de forma idéntica, y un paquete de modelos más capaz razona sobre la transcripción o la descripción igual que lo haría sobre una entrada escrita.

De este diseño se desprenden dos límites honestos: los archivos adjuntos son por turno (no se guardan como conocimiento, ver más abajo) y la comprensión de imágenes está basada en la descripción, no es exacta al píxel.

Qué reenvía cada canal

Un archivo adjunto solo llega al agente si el canal lo entregó, y eso varía según la plataforma. El widget de chat web acepta las subidas directamente; los canales de mensajería reenvían las notas de voz, las fotos y los archivos que envían sus propios usuarios. Un canal que no admite un tipo de archivo adjunto dado simplemente no lo transmitirá, el agente entonces solo ve el texto que haya llegado con el mensaje. En lugar de suponer que un canal admite voz o archivos, prueba el que te interese con un archivo adjunto real y confirma que el agente responde a él.

Archivos adjuntos frente a la base de conocimiento

Son superficies diferentes, y vale la pena tenerlas claras. Un archivo adjunto es contexto efímero para una sola conversación, el archivo que un cliente envía justo ahora, usado solo para este turno. La base de conocimiento es entrenamiento duradero que preparas una sola vez: documentos y páginas que agregas para que cada conversación futura pueda recurrir a ellos. Usa los archivos adjuntos para «esta es mi situación» y la base de conocimiento para «esto es lo que el agente siempre sabe».

Hay una bonita simetría: una imagen que agregas a la base de conocimiento también la lee la IA de visión y se indexa como texto, el mismo enfoque basado en la descripción, hecho permanente en lugar de por turno.

Siguiente

• Base de conocimiento, entrenamiento duradero frente a archivos adjuntos durante el chat
• Habilidades (herramientas), qué puede hacer el agente una vez que entiende la solicitud
• Probar tu agente, envía un archivo adjunto real y observa el turno