# 致远协同管理软件集群部署手册
北京致远互联软件股份有限公司
2021年08月
[前言]
本手册对协同管理系统的集群部署相关事宜进行说明。如对手册存在疑问,可与致远互联的客户服务人员联系。
# 系统集群配置
# 概要说明
协同服务支持集群部署,集群模式下使用Redis进行缓存管理,配置集群前需先安装Redis服务。可使用标准产品提供的redis服务(安装见"Redis服务"章节),也可自行安装redis服务。
通过应用配置器或S1,进行协同服务的集群配置。集群部署结构有以下注意事项:
集群结构支持多节点、水平集群,不支持垂直集群(多节点部署在同一服务器);
集群环境,只需在主服务放置加密;
集群支持MySQL、Oracle、SQLServer数据库;
集群支持TomCat、WebSphere、Weblogic中间件(WebSphere、Weblogic的集群部署请参考其独立文档);
集群支持Apache、Nginx、F5等软硬件提供web负载均衡服务;
集群部署结构下,各应用版本要求如下
# 网络拓扑
集群部署的网络拓扑示意图如下:
# 集群配置
集群配置主要有以下步骤:
应用集群配置:
主服务配置:主服务为集群环境中需放置加密、生成集群标识的服务。集群环境启动时,需先启动主服务才可启动从服务。
从服务配置:从服务为集群环境中启动不需加密狗、集群标识采用主服务集群标识的服务。集群环境启动时,从服务的加密及部分配置信息读取主服务对应信息。
- Web服务配置:
Web服务为集群环境中支持Web访问及承担负载均衡的服务。协同支持Apache、Nginx、F5(隶属F5 NetWorks公司的负载均衡设备)作为Web服务。依据实际情况,可以自由选择Web服务。关于web服务配置的注意事项,可参考web部署手册。
集群配置及启动时需注意事项:
主、从服务的操作系统时间要求相差不超过3秒。
主、从服务的IP地址必须在相同网段,即IP地址前3段需一致。
涉及目录的配置项,主、从服务该目录的物理存储位置必须一致。
包含以下目录(括号中为应用配置项名称):
公共资源目录(ctp.public.folder):影响portal、云联、cap等应用的使用
邮件保存目录(webmail.savePath):影响邮件应用的使用
Office转换文件目录(officeTarns.cache.folder):影响officetrans应用的使用
注:物理存储位置必须一致,值不一定相同。
- 主、从服务的BUG补丁包及月度修复包版本必须一致(以主服务为准)。即更新补丁时需将集群中所有节点一并更新。
# 公共资源目录配置
集群环境下,公共资源配置会影响portal、云联、cap等应用的使用,请务必引起重视!!!
公共资源目录配置主要有以下步骤:
运行SeeyonConfig,在"系统参数设置"页签,选择"名称"项中"ctp.public.folder"选项
- 双击"ctp.public.folder"选项,弹出框中设置公共资源目录。将"系统默认值"替换成"共享挂载目录"。
例如:主节点的Z: \data作为共享挂载目录,主从节点服务器"ctp.public.folder"选项都要替换成Z: \data。
# 应用集群配置
应用的集群配置在S1的协同配置,或协同服务的SeeyonConfig中进行。
# 主服务配置
主服务的配置,步骤如下:
运行SeeyonConfig,在"服务器设置"页签,选择"服务器设置"项中"集群/双机"选项;
勾选"集群/双机配置"项中"设置当前机器为主服务器",此时"集群/双机标识"项将自动生成集群标识(生成的标识需填写至集群其他从服务器节点);
在"节点配置"项中,填写集群用到的所有节点IP地址,选择"当前节点"对应至当前服务器IP;
- 配置Redis参数
Redis单机模式:
# 从服务配置
从服务的配置,步骤如下:
运行SeeyonConfig,在"服务器设置"页签,选择"服务器配置"项中"集群/双机"选项;
不勾选"集群/双机配置"项中"设置当前机器为主服务器",
在"集群/双机标识"项中填写主服务器生成的集群标识;
在"节点配置"项中,填写集群用到的所有节点IP地址,选择"当前节点"对应至当前服务器IP;
- 配置Redis参数
在"系统参数设置"页签,配置webmail.savePath、officeTarns.cache.folder信息(需与主服务器对应目录的物理存储位置一致);
进行SeeyonConfig其他配置;
集群其他从服务节点,可依次按照上述步骤进行配置。
- 注:SeeyonConfig的"节点配置"中需填写集群用到的所有节点IP。
# Apache集群配置修改
使用Apache作为负载均衡,配置完SeeyonConfig之后,还需手动修改如下目录文件内容:
(主、从服务器都必须修改)
- 修改ApacheJetspeed/conf/server.xml文件:取消截图注释,设置ip地址为集群节点实际ip,secret可自定义。并在Apache的conf/workers.properties中,设置server.xml中配置对应secret密码,例如:worker.SY103.secret=Seeyon8.0Tomcat8.5AJP1.3
<Connector port="8951" maxPostSize="-1" address="127.0.0.1" secretRequired="true" secret="Seeyon8.0Tomcat8.5AJP1.3"
maxThreads="4096" minSpareThreads="100"
enableLookups="false" redirectPort="8443" acceptCount="1024"
connectionTimeout="20000" protocol="AJP/1.3"/>
将上面代码中的address修改为服务器实际的ip地址,例如:192.168.0.103。secret可选择修改。如secret修改,那么Apache的conf/workers.properties文件内也必须修改成一致内容,如下图:
- 注释ApacheJetspeed\webapps\seeyon\WEB-INF\web.xml中spring-session内容(主、从服务器都必须修改)。手动将web.xml内如下内容注释掉,增加**<!-- XXX -->** 注释符号。
<!--
<filter>
<filter-name>spring-session</filter-name>
<filter-class>org.springframework.session.web.http.CTPDelegatingFilterProxy</filter-class>
<init-param>
<param-name>targetBeanName</param-name>
<param-value>springSessionRepositoryFilter</param-value>
</init-param>
</filter>
<context-param>
<param-name>contextConfigLocation</param-name>
<param-value>/WEB-INF/spring.xml</param-value>
</context-param>
<filter-mapping>
<filter-name>spring-session</filter-name>
<url-pattern>/*</url-pattern>
<dispatcher>REQUEST</dispatcher>
<dispatcher>FORWARD</dispatcher>
<dispatcher>INCLUDE</dispatcher>
</filter-mapping>
-->
将红色部分添加到相应位置后保存即可。
注意:修改完成后,停止集群主从节点所有协同服务,启动主节点协同服务,成功以后启动从节点协同服务。
启停服务参考产品安装维护手册服务启停章节操作,或者使用致远服务S1启停。
# Redis服务
# 概要说明
Redis服务用于协同集群部署模式时的缓存存放。可以采用标准产品提供的redis安装程序进行安装,亦可采用已有的redis服务,要求版本为5以上。
以下章节说明标准产品提供的redis安装程序的安装配置。标准产品提供的redis仅支持Linux系统。
# 安装配置
# 系统配置
Linux系统需要调整最大进程数和最大文件打开数。执行ulimit -a命令查看open files以及max user processes属性的值,如果已经调整为65535或者更高的值,以下操作无须执行。调整配置举例:修改/etc/security/limits.conf文件,在文件末尾添加如下内容
* soft nofile 204800
* hard nofile 204800
* soft nproc 204800
* hard nproc 204800
打开新的终端执行ulimit -a命令验证是否调整成功(查询值为204800视为成功)。
# 安装
在产品独立服务安装程序目录下,执行./SeeyonRedisInstall.sh运行安装程序;
开始安装,选择安装路径,如:/home/redis,依次点击下一步,完成安装;
# 配置
修改安装后目录的redis.conf,主要调整以下内容:
# 增加参数requirepass,设置redis的连接密码,密码为明文设置 requirepass 密码
# 调整redis的访问ip地址,将bind 127.0.0.1调整为实际ip bind 实际ip
# 调整redis的端口(视情况定是否调整),需同步调整协同中配置的redis端口 port 6379
# 关闭 Redis RDB 持久化,注释以下四行 # save 900 1 # save 300 10 # save 60 10000 # dbfilename dump.rdb
← 信创环境部署手册 信创部署升级工具手册 →