建议QoderWork支持自定义模型服务商(Custom Model Provider)

Problem

QoderWork 目前仅支持平台内置的模型服务商,用户无法自行添加自定义的模型供应商(如本地部署的 Ollama、vLLM、LM Studio,或第三方 OpenAI 兼容 API 等)。这限制了用户在以下场景中的使用:

  1. 使用本地部署的开源模型(如 Llama、Mistral 等)
  2. 使用企业内部署的模型服务
  3. 使用其他第三方模型供应商的 API(非平台已集成的供应商)
  4. 对模型调用有数据合规要求的场景

Solution

建议在 QoderWork 的设置中增加「自定义模型服务商」功能,允许用户:

  1. 自定义 API Base URL(支持 OpenAI 兼容格式)
  2. 配置 API Key
  3. 添加自定义模型名称和参数(如上下文长度、温度等)
  4. 在模型选择器中显示并使用自定义模型

Use Case

  • 开发者希望使用本地部署的模型进行开发测试,减少 API 调用成本
  • 企业用户需要使用内部部署的模型以满足数据安全和合规要求
  • 用户希望灵活选择不同供应商的模型以获得最佳性价比

Priority

中高优先级。目前社区中已有多个相关请求(如"建议qoder增加自定义模型的功能"已有 19 票),说明这是一个普遍需求。

2 Likes