当基础模型为自定义纯文本模型时,图片理解MCP工具调用问题

Problem

当用户配置了自定义的基础模型且模型为非多模态模型时,在对话中直接发送图片(.jpg/.png/.webp),Qoder 基础模型会先拦截并报错"当前模型不支持图像理解",导致已配置的 MCP 图像理解工具(如 MiniMax)无法被调用。用户希望图片消息能够优先路由到 MCP 工具处理。

Solution

  • 当检测到所选模型不支持图片理解时,图片消息应优先路由到已配置的 MCP 工具进行图像理解

  • 或者在 MCP 工具无法处理时,再由基础模型处理

Use Case

使用自定义非多模态基础模型且需要大模型进行图片理解时

Priority

  • :red_circle: High - Blocking issue
  • :yellow_circle: Medium - Important improvement
  • :green_circle: Low - Nice to have

Additional Info

复现步骤:

  1. 在 Qoder 中配置了MiniMax M2.7的自定义模型和 MiniMax的 MCP 服务,包含 mcp_MiniMax_understand_image 图像理解工具

  2. 在对话中直接发送一张图片

  3. 基础模型报错"本次对话或当前会话历史中包含图片,所选模型不支持",对话被暂停

  4. MCP 图像工具从未被触发