# 人人需要过关的AI基础概念

以下信息截止于2025年3月数据，AI变化飞速，以下信息仅做参考。

# 培训课件

如需获取视频解读，请先登陆：协同云->赋能中心->致远学院，再复制以下链接回看：

https://pro.coolcollege.cn/?eid=1643792148006572038#/course/enterpriseCourse?courseId=2170159343427784704&taskId=

# V5智能产品知识地图

# 几份必须学习的资料

文档	功能	获取地址
V9.0 Next 发布文档	智能应用价值宣传	商务公布的安装程序下载地址-文档-发布文档
V9.0sp1 新特性手册	智能应用配置、操作手册	商务公布的安装程序下载地址-文档-操作手册
产品功能清单	智能应用插件和注意事项	商务公布的安装程序下载地址-文档-功能清单
AI系列部署手册	智能应用部署和配置	开放平台-系统运维-Ai应用手册（后续会同步到商务公布的安装程序下载地址-文档-安装维护手册）

# 插件-模型对话

功能简述：协同系统内接入deepseek等大语言模型，给企业员工提供AI问答能力（无法回复企业知识），支持流式对话

关联协同：“智懂你”AI力行动系列--模型对话“老客户普惠专项”

功能手册：开放平台-系统运维-AI应用手册-什么是AI模型对话

部署手册：开放平台-系统运维-AI应用手册-模型对话部署配置手册

部署视频：协同云-赋能中心-致远学院-知识库-营销-实施客开-V5目录-AI下，不会部署的先看培训视频。

支持版本：V8.0及以上，有BuildID要求，注意看手册

部署注意事项：

协同侧增购插件+打功能补丁，详细见部署手册
再部署一个模型管理轻量级服务（2核心4G内存）
模型管理：协同服务器资源足够可部署在一起
模型管理：支持Windows Server、Linux、信创系统部署
部署能力要求低：0.5-1人天
依赖大语言模型（公有或私有），需要客户提供，支持DeepSeek、通义千问、Chatgpt

# 插件-智能问答

功能简述：协同系统内接入deepseek等大语言模型，给企业员工提供AI问答能力（支持回复企业知识），支持流式对话

功能手册：V9.0sp1新特性手册

部署手册：开放平台-系统运维-AI-智能助理部署配置手册

部署视频：协同云-赋能中心-致远学院-知识库-营销-实施客开-V5目录-AI下，不会部署的先看培训视频。

支持版本：V9.0SP1_250122以上

部署注意事项：

协同侧增购插件，V9.0SP1_250122需要打补丁包
需要部署aiapp服务、qdrant服务、全文检索服务，用于建设企业内部的外挂知识库
aiapp+qdrant最低配置要求8核心32G内存1T硬盘，独立服务器部署
如需企业内图片解析为知识库，还需额外部署OCR服务，有条件安装一块显卡（RTX3060以上）给OCR服务
aiapp、qdrant：仅支持部署Linux（暂不支持信创）
部署能力有一定要求：需要Linux和Docker经验、1-2人天
依赖大语言模型（公有或私有），需要客户提供，支持DeepSeek、通义千问（暂不支持Chatgpt）

# 插件-智能办公

功能简述：结合AI大模型解析自然语言行为的能力，为用户提供了快速新建、查询、唤醒、办理、总结等功能

功能手册：V9.0sp1 新特性手册

部署手册：开放平台-系统运维-AI-智能助理部署配置手册

支持版本：V9.0SP1_250122以上

部署注意事项：

协同侧增购插件
部署智能问答所需扩展服务后本插件无需额外部署
DeepSeek R1适应性不足，尤其不支持R1满血版，原因在后文说明
如使用DeepSeek，推荐DeepSeek V3或R1蒸馏版

# 插件-智能创作

功能简述：利用大模型AIGC能力进行内容创作、内容修正、总结、翻译等能力提升办公写作效率

功能手册：V9.0sp1 新特性手册

部署手册：开放平台-系统运维-AI-智能助理部署配置手册

支持版本：V9.0SP1_250122以上

部署注意事项：

协同侧增购插件
部署智能问答所需扩展服务后本插件无需额外部署

# 插件-智能填单（智能合同之一）

功能简述：依托大模型，无需配置关联即可根据表单数据域内容，自动解析并抽取文档中的相关信息回填表单。是智能合同场景的重要依赖。

功能手册：V9.0sp1 新特性手册

部署手册：开放平台-系统运维-AI-智能助理部署配置手册

支持版本：V9.0SP1_250122以上

部署注意事项：

协同侧增购插件
部署智能问答所需扩展服务后本插件无需额外部署

# 插件-法律条款审校（智能合同之一）

功能简述：合同起草或合同审批环节，通过条款审校能力对合同中法律条款信息进行审校。是智能合同场景的重要依赖。

功能手册：V9.0sp1 新特性手册

部署手册：开放平台-系统运维-AI应用手册-法律条款审校配置手册

支持版本：V9.0SP1

部署注意事项：

依赖第三方小包公服务，通过致远商务获取授权及相关配置
依赖在线编辑和预览（文档通、数科、金山）
致远侧增购插件，参照手册配置即可
无需准备大模型

# 插件-内容审校

功能简述：对内容进行字词类、知识类、安全类的全面审查

功能手册：V9.0sp1 新特性手册

部署手册：开放平台-系统运维-AI应用手册-内容审校配置手册

支持版本：V9.0SP1

部署注意事项：

依赖第三方方正内容审校服务，通过致远商务获取授权及相关配置
致远侧增购插件，参照手册配置即可
无需准备大模型

# 插件-智能公文系列

编号	插件名称	场景	支持版本
1	智能纠错	1.拟文写稿2.发文审核3.外部来文签收	V8.1及以上
2	公文OCR识别	手工登记外部来文时	V8.1及以上
3	智能辅助决策	1.辅助审批：为领导角色智能推荐文件以辅助当前文件审批2.辅助阅读：自动抓取文件关键信息，识别相关关联信息（包含转办笺、政策法规等），进行呈现，辅助处理或阅读	V8.2及以上
4	敏感词检查	1.拟文写稿2.发文审核3.外部来文签收	V8.1归属智能纠错，V8.1SP2独立成插件
5	智能公文排版	依据国标要求，对正文进行自动套红头、调整正文格式、增加附件等	V9.0SP1

部署手册：开放平台-系统运维-AI应用手册-智能公文配置手册

部署注意事项：

依赖第三方方寸能力支撑，由方寸进行相关服务部署
致远侧更新插件，参照手册配置即可
无需准备大模型

# 插件-智能问数

尚未发版，静待研发通知。

# 智能中台-COMI

静待研发宣传、通知。

# 基础概念

以下是一些基础性概念问题：

# 大模型是什么？

大模型（Large Models） 是指通过海量数据和强大算力训练出的深度学习模型，通常具有 数十亿甚至数万亿参数，能够处理复杂任务，如自然语言理解、图像识别、多模态交互等。它们的特点是 泛化能力强，可以适应多种应用场景，而不需要针对每个任务单独训练。

# 大模型有哪些细分领域？

语言大模型（NLP, 自然语言处理）： 擅长文本生成、翻译、问答、代码编写等。代表模型：GPT-4（OpenAI）、DeepSeek（深度求索）、Qwen（通义千问）。

视觉大模型（CV, 计算机视觉）： 擅长图像识别、目标检测、生成式AI（如文生图）。

多模态大模型（跨模态理解）： 擅长同时处理文本、图像、音频、视频等数据。

领域大模型（行业专用）： 针对特定行业（如医疗、金融、制造）优化。

向量化模型（Embedding Models）： 将文本、图像、音频等非结构化数据转换为稠密向量（Dense Vectors），用于数据搜索和相似性计算。bge-m3、通义向量模型。

当前的大模型一般特指DeepSeek这类语言大模型。对于技术开发，还会关注Embedding Models向量模型，后面有大用。

# DeepSeek为什么这么火？

1、技术创新（如混合专家架构 MoE 和多头潜在注意力 MLA）带来的低成本高效能

2、DeepSeek R1的开源策略，免去了模型成本，未来生态潜力很大

3、降低高端芯片的依赖，国产类昇腾NPU也能运行，促进国产化发展

4、国产模型+市场机遇，去年受限于ChatGpt非国产数据安全问题，国有企业无法利用AI，今年已经完全解除。

# DeepSeek主要有哪些版本？

主要是V3、R1、R1蒸馏版：

DeepSeek V3：通用型大语言模型，适用于自然语言处理（NLP），响应速度快、多任务处理能力强，常用于智能客服、多语言翻译、长文本生成等。
DeepSeek R1：也叫R1 671b满血版，基于V3架构扩展，专精于复杂逻辑推理，如数学证明、代码生成、决策分析等，常用于科研、金融量化、算法竞赛等高复杂度任务。能够返回思考过程。
DeepSeek-R1-Distill：R1的蒸馏模型，也叫压缩模型，性能弱于满血版。不过在某些任务上接近甚至达到满血版的效果。能够返回思考过程。

知识蒸馏是一种模型压缩技术，让一个较小的模型（学生）模仿一个更大、更强的模型（教师）的行为。DeepSeek基于Qwen和Llama开源模型生成了对应的蒸馏模型。

# 大模型私有化部署怎么做？

用户有deepseek、qwen等大语言模型私有化部署诉求，向我们获取服务器的配置和部署方法，我们怎么提供？

统一回复： 企业级大模型私有化部署确实诸多专业技术问题，需要客户咨询华为、腾讯、电信等等专业厂商，由厂商提供方案和实施落地。

几个附加解释：

1、客户自备服务器可能无法满足大模型部署要求，一般都是厂商一体机部署，以达到最优的软硬件兼容

2、大模型需要若干专业显卡支持，不同显卡对操作系统、驱动版本都有要求，就这一块就能劝退一堆人

3、一些隐性投入，如物理隔离、加密防护、权限精细管理、模型调优等，都是需要专业的人员支持

# 我们推荐使用哪些大模型？

公有大模型推荐尽量用满血版，如：deepseek v3、qwen2.5、qwen-plus、deepseek r1（智能办公应用无法使用r1满血版）

私有大模型的实施落地找专业厂商完成，这块不赘述。私有模型有如下几个注意事项：

1、推荐：deepseek-r1:32b、qwen2.5:32b及以上，如果使用的蒸馏版本太小，可能出现回复不准确问题

2、必须遵守OpenAI标准接口规范，不能增加或调整请求参数，不能增加或调整返回值格式，非标模型需要自行定制开发

# 为什么网上那么多个人部署deepseek的案例，你们却说不行？

网上那些基于ollama+model蒸馏模型（如deepseek r1:1.5b、7b）的部署仅适合于个人学习测试使用。

# 智能体Agent

一种解决方案，一个领域的专家，如智能客服机器人Agent。

# 模型的流式回复（Streaming Response）

流式回复是指大语言模型（如 GPT、DeepSeek、Llama 等）在生成响应时，逐词（token-by-token） 返回结果，而非一次性返回完整内容。这种方式能让用户在等待完整答案的同时，逐步看到部分生成的内容，从而提升交互体验。

# AI幻觉

AI大模型生成的信息看似真实或合理，但实际上是错误或不准确的现象。尤其是大模型在遇到未知领域（如企业内的知识）时，答非所问现象尤为明显。

解决AI幻觉的主要手段是 检索增强生成（RAG） 、 实时知识更新 和 领域微调 。

# 领域微调（Domain Fine-Tuning）

领域微调是一种基于大模型进行二次训练的技术手段，以尽量降低AI在某个领域的幻觉。二次训练要求系统、专业、可靠的领域知识，同时训练成本也不低。

# 检索增强生成（RAG）

RAG是一种通过额外准备与问题相似的答案，结合问题一起推送给大模型，以便让大模型的回复更加准确的一种技术概念。

最常规的落地实现是：挂载外部知识库+从外部知识库检索相似结果，再一起推送给大模型。基于RAG的解决方案不涉及大模型的调整，更易于落地。

后文有详细的RAG实现方案。

# 提示词Prompt

向大模型发问的那串文字，优质的提示词能极大降低AI幻觉的概率。

解决企业知识幻觉问题，通常利用RAG技术检索相关性答案再结合原始提示词一同向大模型发问，最终能获得较好的答案。

# 更多基础知识点从网上学习

【西瓜讲大模型的个人空间-哔哩哔哩】 https://b23.tv/f73KVQa

# 应用场景

以下是大模型常见的应用场景，以及标准产品如何对接大模型：

# 直连大模型模式

[客户端>>>大模型] 是当前最简单、最常用的一种模式，网上与大模型直接对话都采用的直连模式。

V5产品对标应用：模型对话。

实现原理：使用OpenAI标准接口接入大模型，灵活性高，理论标准OpenAI接口的模型都可以接入。

价值：

价值一：为了全员拥抱AI，企业希望有一个统一入口供全员访问AI，协同“模型对话”就是抓手！
价值二：为了数据安全，大企业往往会考虑私有大模型，私有之后如何全员使用往往是问题，协同“模型对话”就是抓手！
价值三：不同模型特征不一样，企业考虑多引入几个模型，供大家自由选择切换使用，协同“模型对话”就是抓手！
价值四：V8.0以上可用，照顾到了老客户！

缺点：大模型没有企业内部知识，回答企业内部知识时存在幻觉。

# 什么是大模型的curl测试？如何测试大模型可用？

CURL是一种服务连接命令，通用的大模型都会提供一个CURL连接命令，供接入方测试大模型是否能连通以及延迟。

大模型CURL命令中包含了base url、apikey、model模型名称三个关键参数，在产品部署时，所有涉及连接大模型的地方都需要录入这三个关键参数。

注意：

base url是/v1/chat前面那一段http或https地址，base url不包含/v1/chat/xxx
apikey公有云一般都会有，私有模型有的有，有的没有，这个具体找模型部署厂商给CURL就知道了

在部署手册中有详细的大模型curl测试 (opens new window)和获取关键参数的方法， 大模型CURL命令执行和使用是人人必须过关的能力！

# 检索增强生成RAG模式

[客户端>>>RAG>>>大模型] 是当前最主流的一种解决私有知识库幻觉的设计模式，也叫“外挂知识库RAG模式”。

实现原理：

第一步：提前准备文本、pdf等文本知识文件，通过Embedding Models将内容进行向量化存储
第二步：客户端发起提示词后，RAG搜索外挂知识库（向量库）相似性问题，将相似性问题+客户端原始提示词一起发送给大语言模型，由模型给出答案。

V5产品对标应用：智能问答。

V5的智能问答底层是完全按照RAG设计模式进行开发实现：

V5的全文检索服务支持将文本、pdf、excel等文件提取成文字，再将文字推送给aiapp服务
V5的aiapp将文字进行切割，再调用内置的Embedding Models（来自智源研究院的开源BGE Model）进行向量化，最终将向量坐标存入qdrant向量数据库
客户端发起提示词提问时，OA将提示词推送给aiapp，aiapp先将提示词向量化，再从向量库寻找相似性的TOP结果，将几条相似性的答案结合提示词一起推送给大模型

通用RAG技术实现逻辑图：