# CoMi模型配置操作手册

# 简述

本手册介绍LLM模型、Embedding模型等参数接入到CoMi的详细操作方法。

# 大模型准备和调试

部署前，需要客户提前准备产品适配范围内的模型，通过CURL命令测试大模型是否可用，待部署后取对应参数配置到CoMi中使用。

CoMi V1.1依赖两个模型：

LLM大语言模型：支持公有云和本地化模型，需要遵守OpenAI接口规范，同时模型支持FunctionCalling功能，如qwen3、deepseek-v3。
Embedding文本向量模型：支持公有云和本地化模型，需要遵守OpenAI接口规范，如bge-m3、qwen3-embedding。

为了验证客户提供的大模型是否支持OpenAI接口，可以从客户侧获取大模型的CURL测试命令（OpenAI接口格式），在CoMi服务器执行CURL命令测试大模型是否返回正确数据以及返回时间以评估模型响应性能。

# LLM大语言模型测试示例

{baseurl}/v1/chat/completions 请求是OpenAI推出的与LLM语言模型对话的标准接口，执行成功会获得模型的对话信息。

我们需要从客户侧拿到curl测试命令，然后在CoMi服务器上执行curl命令，如果有正确返回信息则测试通过，并且可以根据curl参数提取comi配置模型所需信息。

1、Linux测试LLM模型示例：

如下示例是标准的阿里百炼平台公有云LLM模型的测试示例（其它模型服务可以参考如下格式做调整），在Linux服务器执行如果有正确的输出则表示测试通过：

curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer sk-fb4d36635f4347bdxxxxxxxxx7f4c" \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen-plus",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "你是谁？"
        }
    ]
}'

在Linux或信创服务器执行curl命令通过后，可以提取三个关键参数信息，供后续CoMi模型配置时使用：

参数一 baseurl ：取/v1/chat/completions前面的URL地址，如 https://dashscope.aliyuncs.com/compatible-mode 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，如 sk-fb4d36635f4347bdxxxxxxxxx7f4c ，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 qwen-plus

下图红线处标记了三个关键参数信息：

2、Windows测试LLM模型示例：

Windows服务器只能运行单行命令（使用Linux带换行符的curl会报错），此时可以让AI帮忙转换成Windows能运行的单行命令，以下是单行测试的示例可供参考：

curl -X POST "http://192.168.188.162:9998/v1/chat/completions" -H "Authorization: Bearer $DASHSCOPE_API_KEY" -H "Content-Type: application/json" -d "{\"model\":\"qwen3-awq-32b\",\"messages\":[{\"role\":\"user\",\"content\":\"你是谁？\"}]}"

在Windows服务器执行curl命令通过后，同样提取命令中的关键参数，如下图所示：

参数一 baseurl ：取/v1/chat/completions前面的URL地址，如 http://192.168.188.162:9998 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 qwen3-awq-32b

小结：使用上面的curl命令在comi服务器测试通过，则说明LLM模型基本可用，可做后续操作。

# Embedding模型测试示例

{baseurl}/v1/embeddings 请求是OpenAI推出的与Embedding模型对话的标准接口，执行成功会获得模型的向量化结果。

注：Embedding的OpenAI接口跟LLM是不一样的，注意甄别！

1、Linux测试Embedding模型示例：

如下示例是标准的阿里百炼平台公有云LLM模型的测试示例（本地模型也可以参考如下格式做调整），在Linux服务器执行如果有正确的输出则表示测试通过：

curl --location 'https://dashscope.aliyuncs.com/compatible-mode/v1/embeddings' \
--header "Authorization: Bearer sk-fb4d36635f4347bdxxxxxxxxx7f4c" \
--header 'Content-Type: application/json' \
--data '{
    "model": "text-embedding-v3",
    "input": "风急天高猿啸哀，渚清沙白鸟飞回，无边落木萧萧下，不尽长江滚滚来",  
    "dimensions": 1024,  
    "encoding_format": "float"
}'

在Linux或信创服务器执行curl命令通过后，可以提取三个关键参数信息，供后续CoMi模型配置时使用：

参数一 baseurl ：取/v1/chat/embeddings前面的URL地址，如 https://dashscope.aliyuncs.com/compatible-mode 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，如 sk-fb4d36635f4347bdxxxxxxxxx7f4c ，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 text-embedding-v3

下图红线处标记了三个关键参数信息：

2、Windows测试Embedding模型示例：

Windows服务器只能运行单行命令（使用Linux带换行符的curl会报错），此时可以让AI帮忙转换成Windows能运行的单行命令，以下是单行测试的示例可供参考：

curl --location "http://192.168.188.162:9997/v1/embeddings" --header "Authorization: Bearer DASHSCOPE_API_KEY" --header "Content-Type: application/json" --data "{\"model\":\"Qwen3-Embedding-4B\",\"input\":\"风急天高猿啸哀，渚清沙白鸟飞回，无边落木萧萧下，不尽长江滚滚来\",\"dimensions\":1024,\"encoding_format\":\"float\"}"

在Windows服务器执行curl命令通过后，同样提取命令中的关键参数，如下图所示：

参数一 baseurl ：取/v1/chat/embeddings前面的URL地址，如 http://192.168.188.162:9998 就是CoMi配置所需baseurl
参数二 apikey：取Authorization: Bearer后面那段参数，apikey在本地化模型可能不存在，可以留空
参数三 model模型名称：取curl中的"model"参数值，如 qwen3-awq-32b