# 网络架构和资源要求
# 1. 网络架构说明
# 1.1 使用公有云大模型
# 1.2 使用私有化部署大模型
# 2. 环境和资源要求
- ai相关部署只适配ubuntu22.04操作系统和X86 CPU架构,不支持windows操作系统,也不支持信创环境(包含信创的CPU和信创操作系统);
- 如果是老客户升级且原来就有全文检索服务,产品里面需要使用知识问答,并且文档中心的Office文件非常多(超过1万个文件),建议aiapp服务部署需要GPU环境支持。需要GPU的原因:已有的文档转换到向量数据库需要大量的计算(参考:1万个文档在48个cpu线程的情况下运行接近1个小时)。
# 2.1 操作环境要求说明:
# 2.1.1 系统基础环境
ubuntu、gcc、g++、make、curl 需要用户预置
序号 | 系统软件名称 | 配置建议 | 备注 |
---|---|---|---|
1 | 操作系统 | ubuntu 22.04(LTS) | 用户预置 |
2 | docker-ce | 24.0.7 | 用户预置 |
3 | gcc 、g++ | 12 | 用户预置 |
4 | make | 4.3 | 用户预置 |
5 | curl | 7.81.0 | 用户预置 |
# 2.1.2 服务默认端口
服务 | 默认对外端口 | 备注 |
---|---|---|
aiapp | 5556 | 向oa和全文检索服务开放 |
qdrant | 6333、6334 | 向aiapp开放 |
# 2.2 服务器资源要求说明
最低配置推荐:
序号 | 部署服务 | 配置建议 | 备注 |
---|---|---|---|
1 | OA | 根据OA配置要求准备 | - |
2 | aiapp | cpu:8c;内存:16G;磁盘:1TB | 满足2.1.1 章节操作系统基础要求 |
3 | qdrant 向量数据库 | cpu:8c;内存:16G;磁盘:1TB | 满足2.1.1 章节操作系统基础要求 |
4 | ocr 图片识别服务 | cpu:4c;内存:32G;磁盘:500G;显卡:NVIDIA RTX 3060 * 1 | 当前为最低配置,其他负载诉求请参考 |
5 | Qwen2-72B (千问大模型服务) | cpu:64c;内存:128G;磁盘:1TB (挂载/data目录);显卡:NVIDIA RTX 4090D * 4 | 当前为最低配置,其他负载诉求请参考 |
6 | Qwen2-VL-72B (千问视觉模型服务) | cpu:64c;内存:128G;磁盘:1TB (挂载/data目录);显卡:NVIDIA RTX 4090D * 4 | 当前为最低配置,其他负载诉求请参考 |
# 2.3 插件依赖情况
下表为业务特性与商务插件、模型、服务的对应关系说明,请根据客户情况确定必要前置准备
情况说明为:私有化部署aiapp、qdrant服务 + 公有云大模型
|特性 |插件信息|模型方案|依赖服务或三方|依赖Docker服务| |--- |----------|--------|----| |智能办公|智能助理-智能办公 aiAssistantOffice|文心一言3.5/qwen-plus |全文检索|aiapp、qdrant| |智能问答|智能助理-智能问答 aiAssistantQandA|qwen-plus|全文检索|aiapp、qdrant| |智能填单|智能填单 aiFillOut|qwen-plus||aiapp| |智能创作|智能创作 aiContentCreation|文心一言3.5||aiapp、qdrant|
编撰人:wangyxyf
快速跳转
