Skip to content

MLLM:附件理解 ​

将提及或聊天中的附件作为模型输入的一部分,与回复链等一起生成回复,不接管回复。附件只做 Base64 编码,不解码、不转换,能否理解由模型和服务商决定。

配置 ​

yaml
plugins:
  mllm:
    enabled: true
    max_files: 4
    max_bytes: 6MB
    use_thumbnail: false
字段说明
max_files单次最多处理附件数,至少 1
max_bytes单个附件下载上限,支持 KB、MB 等单位
use_thumbnail默认使用原图;开启后优先缩略图
default_prompt只发附件时附带的提示,留空只发送附件

使用 ​

在提及、私聊或群聊中发送媒体文件,可附带要求,如“提取图中文字”“这段音频说了什么”。

按文件类型生成输入片段:

类型片段
图片input_image
MP3、WAV 音频input_audio
视频与其他音频input_file

只处理图片、音频、视频,其余类型不处理。视频与其他音频没有通用片段,作为 input_file 发送,不被服务商接受时通常使整次请求失败,此时不会有回复,请查看日志。

提及时回复或引用带附件的帖子,也会一并读取该帖的附件和文字,如回复一篇带图的帖子并提问“这是什么”。附件按本帖、被引用帖、被回复帖的顺序收集,合计不超过 max_files;只读取直接关联的一层,不追溯更早的回复链。

没有可处理的附件、缺少类型信息或下载失败时,按普通文字回复处理。

兼容性 ​

  • 模型须在当前 bot.api_mode 下支持 OpenAI 兼容的多模态消息。
  • 附件从 Drive 下载后内嵌发送至模型服务,注意服务商的数据处理规则。