MLLM:附件理解
将提及或聊天中的附件作为模型输入的一部分,与回复链等一起生成回复,不接管回复。附件只做 Base64 编码,不解码、不转换,能否理解由模型和服务商决定。
配置
yaml
plugins:
mllm:
enabled: true
max_files: 4
max_bytes: 6MB
use_thumbnail: false| 字段 | 说明 |
|---|---|
max_files | 单次最多处理附件数,至少 1 |
max_bytes | 单个附件下载上限,支持 KB、MB 等单位 |
use_thumbnail | 默认使用原图;开启后优先缩略图 |
default_prompt | 只发附件时附带的提示,留空只发送附件 |
使用
在提及、私聊或群聊中发送媒体文件,可附带要求,如“提取图中文字”“这段音频说了什么”。
按文件类型生成输入片段:
| 类型 | 片段 |
|---|---|
| 图片 | input_image |
| MP3、WAV 音频 | input_audio |
| 视频与其他音频 | input_file |
只处理图片、音频、视频,其余类型不处理。视频与其他音频没有通用片段,作为 input_file 发送,不被服务商接受时通常使整次请求失败,此时不会有回复,请查看日志。
提及时回复或引用带附件的帖子,也会一并读取该帖的附件和文字,如回复一篇带图的帖子并提问“这是什么”。附件按本帖、被引用帖、被回复帖的顺序收集,合计不超过 max_files;只读取直接关联的一层,不追溯更早的回复链。
没有可处理的附件、缺少类型信息或下载失败时,按普通文字回复处理。
兼容性
- 模型须在当前
bot.api_mode下支持 OpenAI 兼容的多模态消息。 - 附件从 Drive 下载后内嵌发送至模型服务,注意服务商的数据处理规则。