# CoMi模型配置操作手册

# 简述

本手册介绍LLM模型、Embedding模型等参数接入到CoMi的详细操作方法。

# 大模型准备和调试

部署前，需要客户提前准备产品适配范围内的模型，通过CURL命令测试大模型是否可用，待部署后取对应参数配置到CoMi中使用。

LLM大语言模型：必须，需客户准备。支持公有云和本地化模型，需要提供OpenAI接口请求，同时支持Function Calling功能（如不支持，涉及调用协同和第三方的智能体应用均无法使用）。作用：CoMi使用语言模型进行意图识别、调用决策、分析总结，LLM模型是超级核心。公有云推荐阿里百炼平台 (opens new window)qwen-plus、DeepSeek官网 (opens new window)最新模型（DeepSeek-V3.2-Exp）、火山引擎 (opens new window)最新豆包1.6模型。本地化模型推荐近期较新的开源MOE模型（30B参数起步），所需算力由低到高推荐：Qwen3-30B-A3B-Instruct-2507、Qwen3-Next-80B-A3B-Instruct、Qwen3-235B-A22B-Instruct-2507、DeepSeek-V3.2。生产级本地化模型服务推荐使用高效的vllm推理引擎运行，Tokens上下文建议输入32K以上，输出8K。本地化模型依赖很高的服务器算力，其算力资源由 模型参数大小、量化精度（FP16/INT8/INT4）、激活策略（Moe/Dense）、上下文并发限制 等综合因素决定，建议咨询专业模型厂商落地。
已知不推荐使用的LLM模型为DeepSeek-R1，该模型没有Function calling能力，内部【模型能力测试】 (opens new window)多个功能不可用。
Embedding文本向量模型：必须，需客户准备。支持公有云和本地化模型，需要提供OpenAI接口请求。模型需支持不低于8192 Tokens（8K上下文长度）的输入，向量维度默认1024。作用：解决无法检索企业私域知识的关键模型，将企业文本数据转化为向量，实现语义搜索，让CoMi能够实现自然语言检索企业知识的能力。公有云可尝试硅基流动AI平台bge-m3 (opens new window)（以后可较低成本切本地bge-m3模型）、阿里百炼平台text-embedding-v3（如果以后都不切本地模型，可以使用这款）。Embedding模型本地化部署推荐bge-m3。
ReRank重排序模型：非必须，需客户准备。支持公有云和本地化模型，需要提供OpenAI接口请求。如需向量检索+全文检索多路召回能力提升检索质量，则必须使用ReRank模型。公有云可尝试硅基流动AI平台bge-reranker-v2-m3 (opens new window)（以后可较低成本切本地bge-reranker-v2-m3模型）。ReRank本地化部署推荐bge-reranker-v2-m3（支持8k token上下文）。
如需了解什么是OpenAI接口，接口应该如何测试可参考《CoMi模型配置操作手册 (opens new window)》中的测试示例。
本地化模型涉及较大成本投入和专业部署技能，不在CoMi部署和方案支持范围内。如客户需要代采，公司战略合作与生态产品团队与模型专业供应商有建联，推出了<致远COMI一体机解决方案-本地大模型>方案，可与政务营销推进部liuxuan联系询价。
如客户具备自主部署维护模型能力，最低算力和相关模型下载地址，可参考《CoMi知识库-硬件成本预估 (opens new window)》在线文档，模型迭代很快，会定期刷新推荐模型。

# LLM大语言模型测试示例

{baseurl}/v1/chat/completions 请求是OpenAI推出的与LLM语言模型对话的标准接口，执行成功会获得模型的对话信息。

我们需要从客户侧拿到curl测试命令，然后在CoMi服务器上执行curl命令，如果有正确返回信息则测试通过，并且可以根据curl参数提取comi配置模型所需信息。

1、Linux测试LLM模型示例：

如下示例是标准的阿里百炼平台公有云LLM模型的测试示例（其它模型服务可以参考如下格式做调整），在Linux服务器执行如果有正确的输出则表示测试通过：

curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer sk-fb4d36635f4347bdxxxxxxxxx7f4c" \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen-plus",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "你是谁？"
        }
    ]
}'

在Linux或信创服务器执行curl命令通过后，可以提取三个关键参数信息，供后续CoMi模型配置时使用：

参数一 baseurl ：取/v1/chat/completions前面的URL地址，如 https://dashscope.aliyuncs.com/compatible-mode 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，如 sk-fb4d36635f4347bdxxxxxxxxx7f4c ，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 qwen-plus

下图红线处标记了三个关键参数信息：

2、Windows测试LLM模型示例：

Windows服务器只能运行单行命令（使用Linux带换行符的curl会报错），此时可以让AI帮忙转换成Windows能运行的单行命令，以下是单行测试的示例可供参考：

curl -X POST "http://192.168.188.162:9998/v1/chat/completions" -H "Authorization: Bearer $DASHSCOPE_API_KEY" -H "Content-Type: application/json" -d "{\"model\":\"qwen3-awq-32b\",\"messages\":[{\"role\":\"user\",\"content\":\"你是谁？\"}]}"

在Windows服务器执行curl命令通过后，同样提取命令中的关键参数，如下图所示：

参数一 baseurl ：取/v1/chat/completions前面的URL地址，如 http://192.168.188.162:9998 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 qwen3-awq-32b

小结：使用上面的curl命令在comi服务器测试通过，则说明LLM模型基本可用，可做后续操作。

# Embedding模型测试示例

{baseurl}/v1/embeddings 请求是OpenAI推出的与Embedding模型对话的标准接口，执行成功会获得模型的向量化结果。

注：Embedding的OpenAI接口跟LLM是不一样的，注意甄别！

1、Linux测试Embedding模型示例：

如下示例是标准的华为云大模型平台Embedding模型的测试示例（本地模型也可以参考如下格式做调整），在Linux服务器执行如果有正确的输出则表示测试通过：

curl -X POST "https://api.modelarts-maas.com/v1/embeddings" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sgkki2xxxxxxxxxx" \
  -d '{
    "model": "bge-m3",
    "input": [
      "这是一只小猫",
      "这是一只小狗"
    ],
    "encoding_format": "float"
  }'

在Linux或信创服务器执行curl命令通过后，可以提取三个关键参数信息，供后续CoMi模型配置时使用：

参数一 baseurl ：取/v1/embeddings前面的URL地址，如 https://api.modelarts-maas.com 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，如 sgkki2xxxxxxxxxx ，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 bge-m3

下图红线处标记了三个关键参数信息：

2、Windows测试Embedding模型示例：

Windows服务器只能运行单行命令（使用Linux带换行符的curl会报错），此时可以让AI帮忙转换成Windows能运行的单行命令，以下是单行测试的示例可供参考：

curl --location "http://192.168.188.162:9997/v1/embeddings" --header "Authorization: Bearer DASHSCOPE_API_KEY" --header "Content-Type: application/json" --data "{\"model\":\"bge-m3\",\"input\":\"风急天高猿啸哀，渚清沙白鸟飞回，无边落木萧萧下，不尽长江滚滚来\",\"dimensions\":1024,\"encoding_format\":\"float\"}"

在Windows服务器执行curl命令通过后，同样提取命令中的关键参数：

参数一 baseurl ：取/v1/chat/embeddings前面的URL地址，如 http://192.168.188.162:9998 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 bge-m3

小结：使用上面的curl命令在comi服务器测试通过，则说明Embedding模型基本可用，可做后续操作。

# ReRank模型测试示例

{path}/v1/rerank 请求是遵循 OpenAI 风格设计的重排序模型标准调用接口，执行成功后会返回按 “查询 - 文档” 相关性分数降序排列的文档列表，包含每个文档的原始内容、相关性分数及排序后的索引，便于后续业务层直接使用。

注：ReRank的OpenAI接口跟LLM是不一样的，注意甄别！

1、Linux测试Embedding模型示例：

curl -X POST "https://api.modelarts-maas.com/v1/rerank" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sgkki2xxxxxxxxxx" \
  -d '{
    "model": "bge-reranker-v2-m3",
    "input": "如何冲泡一杯好喝的咖啡？",
    "documents": [
      "咖啡豆的产地主要分布在赤道附近，被称为‘咖啡带’。",
      "法压壶的步骤：1. 研磨咖啡豆。2. 加入热水。3. 压下压杆。4. 倒入杯中。",
      "意式浓缩咖啡需要一台高压机器，在9个大气压下快速萃取。",
      "挑选咖啡豆时，要注意其烘焙日期，新鲜的豆子风味更佳。",
      "手冲咖啡的技巧：控制水流速度、均匀注水和合适的水温（90-96°C）是关键。"
    ]
  }'

在Linux或信创服务器执行curl命令通过后，可以提取三个关键参数信息，供后续CoMi模型配置时使用：

参数一 baseurl ：取/v1/rerank前面的URL地址，如 https://api.modelarts-maas.com 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，如 sgkki2xxxxxxxxxx ，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 bge-reranker-v2-m3

下图红线处标记了三个关键参数信息：

小结：使用上面的curl命令在comi服务器测试通过，则说明ReRank模型基本可用，可做后续操作。

# CoMI模型配置步骤

登录协同OA系统管理员（分保插件模式下，是在安全管理员）后台，访问CoMi Builer菜单-模型页签，点击 接入模型维护：

点击 "+" ，新建分类（分类名称可自定义）

再点击 "新增"，新增模型，根据模型类型，选择LLM或者Embedding模型:

模型名称：必须是真实准确的名称，对应大模型curl测试中的model参数
必须至少新建一个LLM模型和一个Embedding模型，用于后面的数据初始化

再次点击模型栏，返回上一级，点击新增，填写模型完整信息，LLM和Embedding需要分别新增一个：

模型标识：唯一，可自定义，常用模型建议尽量与model一致，方便管理
模型描述：非必填
模型类型：LLM对应语言模型；Embedding对应向量模型；ReRank对应重排模型
接入模型：对应“接入模型维护”按钮中配置的信息
Base URL：对应模型的openAI请求地址，参考【大模型准备和调试】章节说明获取
API Key：公有云模型涉及此参数，私有模型可能没有，参考【大模型准备和调试】章节说明获取

LLM语言模型配置示例：

Embedding模型配置示例：

模型信息保存后，默认模型为禁用，需要右侧隐藏按钮启用模型：

通过“测试”确保大模型的连接状态为“通过”，并且尽量使用支持Functioncalling的LLM大语言模型：

如大语言模型不支持FunctionCalling会导致所有涉及调用协同OA工具的Agent无法使用

模型测试不通过的排查方法：

1、首先，需要客户提供CURL测试命令，然后必须在CoMi服务器上执行CURL，测试有结果才能继续，【大模型准备和调试】章节有说明 2、然后，检查CURL测试命令的参数，确认该请求是OpenAI格式的请求，什么是OpenAI同样参考【大模型准备和调试】章节有说明 3、最后，如果确认是OpenAI的请求，提取CURL中的参数放到CoMI模型管理中配置并测试，尤其注意baseURL不要带CURL测试url中的 /v1/xxx 这段后缀！

常见问题：CoMi新建配置模型后测试报404 https://open.seeyoncloud.com/#/faq/faq/v1/share?url=Z2JySmU+NjE6Mg==