# 网络架构和资源要求

# 1. 网络架构说明

# 1.1 使用公有云大模型

1740020537510.png

# 1.2 使用私有化部署大模型

1740020549750.png

# 2. 环境和资源要求

  1. ai相关部署只适配ubuntu22.04操作系统和X86 CPU架构,不支持windows操作系统,也不支持信创环境(包含信创的CPU和信创操作系统);
  2. 如果是老客户升级且原来就有全文检索服务,产品里面需要使用知识问答,并且文档中心的Office文件非常多(超过1万个文件),建议aiapp服务部署需要GPU环境支持。需要GPU的原因:已有的文档转换到向量数据库需要大量的计算(参考:1万个文档在48个cpu线程的情况下运行接近1个小时)。

# 2.1 操作环境要求说明:

# 2.1.1 系统基础环境

ubuntu、gcc、g++、make、curl 需要用户预置

序号 系统软件名称 配置建议 备注
1 操作系统 ubuntu 22.04(LTS) 用户预置
2 docker-ce 24.0.7 用户预置
3 gcc 、g++ 12 用户预置
4 make 4.3 用户预置
5 curl 7.81.0 用户预置

# 2.1.2 服务默认端口

服务 默认对外端口 备注
aiapp 5556 向oa和全文检索服务开放
qdrant 6333、6334 向aiapp开放

# 2.2 服务器资源要求说明

最低配置推荐:

序号 部署服务 配置建议 备注
1 OA 根据OA配置要求准备 -
2 aiapp cpu:8c;内存:16G;磁盘:1TB 满足2.1.1 章节操作系统基础要求
3 qdrant 向量数据库 cpu:8c;内存:16G;磁盘:1TB 满足2.1.1 章节操作系统基础要求
4 ocr 图片识别服务 cpu:4c;内存:32G;磁盘:500G;显卡:NVIDIA RTX 3060 * 1 当前为最低配置,其他负载诉求请参考
5 Qwen2-72B (千问大模型服务) cpu:64c;内存:128G;磁盘:1TB (挂载/data目录);显卡:NVIDIA RTX 4090D * 4 当前为最低配置,其他负载诉求请参考
6 Qwen2-VL-72B (千问视觉模型服务) cpu:64c;内存:128G;磁盘:1TB (挂载/data目录);显卡:NVIDIA RTX 4090D * 4 当前为最低配置,其他负载诉求请参考

# 2.3 插件依赖情况

下表为业务特性与商务插件、模型、服务的对应关系说明,请根据客户情况确定必要前置准备

情况说明为:私有化部署aiapp、qdrant服务 + 公有云大模型

|特性 |插件信息|模型方案|依赖服务或三方|依赖Docker服务| |--- |----------|--------|----| |智能办公|智能助理-智能办公 aiAssistantOffice|文心一言3.5/qwen-plus |全文检索|aiapp、qdrant| |智能问答|智能助理-智能问答 aiAssistantQandA|qwen-plus|全文检索|aiapp、qdrant| |智能填单|智能填单 aiFillOut|qwen-plus||aiapp| |智能创作|智能创作 aiContentCreation|文心一言3.5||aiapp、qdrant|

编撰人:wangyxyf