资源规划
部署资源规划
部署之前需要先规划好服务所使用到的服务器资源、目录结构、服务端口号以及服务账号等。
服务器资源
依据部署架构不同,可能使用到的服务器资源会有数量上的差异,但基本的服务器职能还是一致的,以下清单中的各类服务器都可以配置成多节点高可用模式。(IP地址只是用来演示,具体部署时可以根据网络环境进行调整)
服务类型 | 服务器地址 | 备注 |
---|---|---|
用户站点服务器 | 172.10.10.100 | |
调度服务服务器 | 172.10.10.101 | |
中间件服务服务器 | 172.10.10.101 | |
任务服务服务器 | 172.10.10.102 | 可以将工作数据库服务和任务服务安装在同一台服务器中,在多工作库和任务服务节点资源的情况下,系统会优先将相关任务分配到同一台服务器上执行,以提升数据处理效率。 |
工作数据库服务器 | 172.10.10.102 | |
系统数据库服务器 | 172.10.10.103 | 建议独立一台,也可以和用户站点公用 |
目录结构
以下列表以Windows下面的目录结构为例,Linux下面的结构类似。根目录可以根据服务器资源状况进行调整,但不建议放在系统盘中。
服务类型 | 目标目录 | 备注 |
---|---|---|
部署根目录 | D:\flyenter\hamster_data_service | |
用户站点目录 | D:\flyenter\hamster_data_service\Portal | 用于部署用户操作界面服务,如任务包配置页面等 |
工作服务目录 | D:\flyenter\hamster_data_service\Slaver | 用于部署任务的执行服务,负责完成特定的服务,如果任务量大,可以部署多个节点。 |
调度服务目录 | D:\flyenter\hamster_data_service\Scheduler | 用于部署平台的调度服务,如果调度任务繁多,且为了保持高可用,也可以部署多个节点。 |
日志文件目录 | D:\flyenter\hamster_data_service\Logs | 用于保存由各个服务写入的日志文件。 |
工作文件目录 | D:\flyenter\hamster_data_service\Working_folder | 工作目录,支持用户操作界面的文件操作或执行服务在运行中涉及到的结果文件。一般将该目录设置成共享目录,并赋读写权限给特定的域服务账号。(平台配置中用到) |
服务端口号
不同的服务运行在不同的端口上,部署前需要规划好,中间件采取默认端口号。
服务类型 | 端口号 | 备注 |
---|---|---|
用户站点 | 40020 | |
Hangfire服务 | 40021 | |
调度服务 | 40022 | |
工作服务 | 40023 |
上述配置端口将会在各个服务的配置文件中使用到。
服务账号
平台运行时需要访问到对应的服务资源,如共享的工作目录,数据库服务等,所以需要为仓鼠平台申请特定的服务账号和权限来访问相应的资源。
账号类型 | 推荐账号名 | 备注 |
---|---|---|
服务或域账户 | hamster_svc | |
数据库账号 | hamster_svc |
数据库服务
仓鼠平台将使用到2类数据库服务,即平台自身的系统数据库和为支持特定任务而动态创建的工作库。这2类数据库可以公用一台数据库服务,但建议将系统库和工作库分别部署在2台不同的数据库实例上。因为工作库的工作负载较大,同时,仓鼠平台需要拥有工作库sa/pgadmin权限。
数据库类型 | 数据库服务器 | 数据库名称 | 备注 |
---|---|---|---|
系统配置库 | 172.10.10.100 | Hamster_2023_Support | 用于保存数据源、任务设计及平台配置等信息 |
系统调度库 | 172.10.10.100 | Hamster_2023_HF | 用于保存调度计划 |
系统日志库 | 172.10.10.100 | Hamster_2023_Log | 用于保存任务执行明细日志 |
工作库1 | 172.10.10.101 | * | 工作库服务器中的数据库会由平台动态创建,根据任务负载,选择单节点或多节点 |