3台服务器+StarVCenter搭建 “超融合云平台” –完美体验跑100台虚拟机

随笔1个月前发布 哎呀跑调啦
2 0 0

我们通常讲的“超融合(HCI)”是一种云平台基础架构方案,它无需专用的存储设备, 每台服务器既承担计算又存储数据, 只需增加服务器,即可等效提升计算+存储性能。是性能最强、性价比最高的一种方案。
本文将介绍搭建超融合云平台,并且平滑替代Vmware虚拟化的详细方案,以StarVCenter超融合软件为例演示具体搭建过程,本方案采用3台服务器初始搭建,后续按需添加服务器即可。
目录
1 准备工作 1-2
1.1 获取安装镜像 1-2
1.2 准备硬件 1-2
1.3 网络布线与IP规划 1-3
2 安装操作系统 2-5
2.1 开启虚拟化支持 2-5
2.2 选择安装类型 2-5
2.3 选择系统磁盘 2-6
2.4 配置主机名、IP 2-6
3 部署集群 3-8
3.1 配置分布式存储 3-10
3.2 指定网卡用途 3-11
3.3 配置镜像存储 3-11
3.4 配置数据库集群 3-12
3.5 配置管控集群 3-13
3.6 一键部署 3-13
3.7 验证安装结果 3-14
4 资源初始化 4-15
4.1 初始化IP地址池 4-15
4.2 初始化模板库 4-16
5 创建虚拟机 5-17
5.1 创建虚拟机(克隆) 5-17
5.2 跨主机迁移 5-19
5.3 迁入虚拟机 5-21
6 附录 6-25
6.1 刻录安装U盘方法 6-25
6.2 扩充节点方法 6-26

1 准备工作
1.1 获取安装镜像
从StarVCenter官网(www.starvcs.com),点击官网下载,进入下载目录:http://starvcs.com/download/StarVCenter/StarVCenter_Enterprise_Download/
选择最新版本下载:starve4-x86_64-StarVCenter-enterprise-xx.iso
验证其md5码以确保文件没损坏,然后刻录成光盘或U盘,如果只是体验安装过程,你可以选择用在虚拟机中安装StarVCetner,也就不需要刻录了。
刻录U盘方法,见附录:刻录安装U盘方法。
1.2 准备硬件
“超融合”部署最小硬件要求如下:
服务器>=3台,每台服务器最小配置为:4核、13GB内存、>=1块网卡(>=1Gb/s)、>=2块硬盘(单盘>=100GB)。
提示:按最小硬件配置只能保证安装部署成功,大家体验验证过程可选择规格高一些的硬件,以获得更好的体验。
本示例采用的3台服务器配置如下表:
服务器 规格 说明
CPU 24核 支持虚拟化VT
内存 64GB
网卡 1块千兆网卡(1Gb/s);
1块万兆网卡(10Gb/s);
磁盘 4块sas HDD硬盘(960GB);
2块sas HDD硬盘(580GB);
1块sata SSD硬盘(480GB); (1)第1块960GB硬盘用作系统盘;
(2)本示例采用超融合部署,3块960GB硬盘和2块580GB硬盘用作分布式存储数据盘,1块SSD硬盘用作缓存盘。
提示:若部署期间不选择使用的磁盘,在部署完成后,可在存储池页面添加为本地localfile存储。
解释说明:
*为何须万兆网:超融合平台所有虚拟机的磁盘I/O数据都须通过网络传送到指定节点上保存,万兆以下扛不住。
*缓存盘是什么:N倍速于数据盘的固态硬盘,配有缓存盘时,虚拟机磁盘I/O将直接落盘于缓存盘即完成I/O,并在后台转移到数据盘,可提升存储性能。
*硬盘是否配raid:其中缓存盘和数据盘须作为独立盘被操作系统识别,因此可配置为raid直通或单盘raid0。
提示:上表中网卡和磁盘的用途在后续部署界面上可灵活地选择。
实际生产部署中,根据不同情形,可参考官网硬件配置建议:
生产环境硬件配置建议:
http://www.starvcs.com/doc/vcenter/index.html#/suggest;
企业级超融合部署方案(参考):
http://www.starvcs.com/doc/vcenter/index.html#/ceph-build;
1.3 网络布线与IP规划
说明:平台对网络的需求有三种,管理网是访问管理界面管理各节点的网,业务网是访问虚拟机中业务应用的网,存储网是虚拟机磁盘I/O的传输网。系统默认将管理网、业务网、存储网放在同一物理网卡线路上。
本方案采用独立的万兆网作存储网,将千兆网卡接到千兆交换机上、万兆网卡接到万兆交换机上,网络拓扑如下图所示:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

思考:从安全和高可用的角度看,三种网络各用两台交换机做双冗余最佳;从成本和简单的角度看,只用一台交换机接1个网口也能跑。

IP地址规划:
为了避免物理机和虚拟机IP冲突,通常将管理网和业务网的IP地址段分开。
类型 IP地址 用途
管理网 27.196.220.31-33 安装系统时配在3台服务器的管理网卡上
27.196.220.10 管控集群浮动IP
27.196.220.11 数据库集群浮动IP
27.196.220.101-120(可选) 部署完成后,从管理界面录入IP地址池备用,这是使用VPC私网、对象存储、文件存储等功能的前提条件。
业务网 192.168.10.1-100 部署完成后,从管理界面录入IP地址池备用,创建虚拟机通常需要分配这些IP。
存储网 默认后台自动分配,无须关心

2 安装操作系统
下面我们使用之前刻录的安装盘,分别在3台服务器上进行引导安装。
2.1 开启虚拟化支持
用于部署StarVCenter的服务器需要开启CPU虚拟化支持(在bios中设置,同时选择从U盘启动)。
若在Vmware workstation虚拟机中体验安装本系统(实际使用时,请在物理服务器上安装),则创建虚拟机时须在 “处理器”中勾选“虚拟化”支持。
进入系统安装引导界面后,选择“Install StarVE”,按回车键。
注意:若在ESXI的虚拟机中体验安装本系统,请允许“混杂模式”和“MAC地址修改”,否则IP将无法访问。
2.2 选择安装类型
点击【SOFTWARE SELECTION】进入软件选择界面:
(说明:部署节点安装完成后,可通过浏览器打开“http://部署节点ip:9000”,从部署界面添加多台‘Basic节点’,并将这些节点以“多管控节点集群”的模式批量部署)。
我们将第一台服务器作为部署节点,选择“Deployment node”类型,第二、三台节点,都选择“Basic node”类型。
第一台节点选择,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

第二、三台节点选择,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

点击【Done】铵钮确认选择。
2.3 选择系统磁盘
点击【INSTALLATION DESTINATION】选项,选择第一块磁盘作为系盘,点击【Done】按钮确认选择,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

2.4 配置主机名、IP
1.配置主机名
我们将三台服务器的主机名配置为starve001、starve002、starve003。
点击【NETWORK & HOSTNAME】,打开配置界面,在“Host name”栏输入主机名。
2.配置IP地址
(提示:这里配置1个IP即可。集群部署期间,此IP将被默认识别为管理网IP,自动移植到管理网网桥‘br-mgmt’上。)
我们将三台服务器的IP配置为27.196.220.31、27.196.220.32、27.196.220.33。
(注意:这里的IP是管理网的IP,按上文网络布线规划,此处选择已接线的千兆网口)
(1)点击【Configure】按钮,选择【IPv4 Settings】,将“Method”设置为【Manual】。
(2)点击【add】,输入IP、掩码、网关,点击【Save】,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

(3)点击右侧滑块启用网卡,使其从“OFF”变为“ON”,然后点击【Done】按钮进行确认,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

点击【Done】按钮回到主页面,点击“Begin Installation”按钮开始部署。
点击“ROOT PASSWORD”,设置root账户密码。
约需要10分钟完成安装,安装完成后,点击“reboot”重启系统。
按照上述方法完成所有服务器的操作系统安装,并确保所有服务器之间IP互通。
3 部署集群
通过浏览器(推荐Google Chrome)打开WEB部署界面,访问地址为:
http://部署节点IP地址:9000,实际为:http://27.196.220.31:9000,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

点击【开始】进入“添加主机”页面,我们将3台服务器都加进来,输入起始IP为27.196.220.31,结束IP为27.196.220.33,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

说明:确认所有服务器之间IP地址互通,再添加主机。
请将所有服务器添加至部署界面,并且确保“管理网IP”栏中所有节点状态均为在线(图标为绿色),如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

3.1 配置分布式存储
在顶部导航栏中点击【配置分布式存储】,进入配置界面,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

说明:系统将自动检测硬件是否满足超融合部署条件,上图中看到绿色框中的‘满足’字样表示满足条件。系统默认自动选择磁盘用途,绿色的表示固态盘,可点击右侧“配置磁盘”按钮按预先规划选择磁盘用途,最后点击“确定”即选择超融合部署。
3.2 指定网卡用途
在顶部导航栏中点击【指定网卡用途】,进入配置界面,系统默认选择当前IP所在的网卡充当所有网络用途,若只使用单网口则直接点击“确定”即可,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

本方案中,在上图中勾选服务器,点击“配置”按钮,打开网卡用途配置页面,选用万兆网卡作为存储网,千兆网卡作为管理网和业务网,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

3.3 配置镜像存储
在顶部导航栏中点击【配置镜像存储】进入辅存配置界面。
系统将自动选中默认配置,直接点击“确定”按钮即可,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

3.4 配置数据库集群
在顶部导航栏中点击【配置数据库集群】,进入配置界面。
系统将自动选中数据库集群的默认配置,此处需要输入数据库集群浮动IP地址(此IP必须与数据库主、备节点IP互通),此处为27.196.220.11,然后点击“确定”按钮即可,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

3.5 配置管控集群
点击顶部导航栏中【配置管控集群】,进入配置界面:
系统将自动选择管控集群节点,此处需要输入管控集群浮动IP地址(此IP必须与所有管控集群节点IP互通),此处为27.196.220.10,之后点击“确定”按钮即可,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

3.6 一键部署
点击顶部导航栏中“一键部署”,进入部署界面,点击“开始一键部署”按钮开始执行部署,如下图:
注意:此处建议配置标准钟源地址,若无可用时钟源,务必确保镜像存储节点的系统时钟与标准时间一致。
等待部署完成后,界面将显示系统的访问地址,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

3.7 验证安装结果
在部署完成界面点击“访问链接地址”打开管理界面(推荐Google Chrome),如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

注意:2023年6月之后发布的版本,所有账号默认密码统一改为Svc*2009
默认业务操作员账号为:user/user
默认系统管理员账号为:admin/admin
这里通过账号user登录进入系统,在“资源管理”>“存储”菜单中能看到已构建完成的CEPH存储,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

4 资源初始化
4.1 初始化IP地址池
按照上文IP规划,此处必须录入业务网IP段(用于虚拟机的IP分配),可选地录入管理网IP段(用于vpc私网、对象存储、文件存储等的后台地址分配)。操作方法:进入“资源管理”>“网络池”菜单,选择“IP地址池”选项,点击“新增IP”按钮,如下图:
注意:
录入业务网IP应选择‘默认子网’
录入管理网IP应选择‘默认管理网’
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

4.2 初始化模板库
StarVCenter的官网提供通用的虚拟机模板镜像供用户下载,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

我们可以将需要用到的虚拟机模板下载到本地电脑,再上传到模板镜像库中。操作方法:进入“资源池管理”>“模板镜像库”菜单,点击“上传模板”按钮,选择下载的模板文件,选择对应操作系统,点击“确定”按钮开始上传,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

说明:若StarVCenter官网模板库未提供你想要的模板,你也可以自己上传ISO光盘镜像,然后在“创建虚拟机”时选择“全新安装”的方式自定义安装制作虚拟机模板,详见http://www.starvcs.com/doc/vcenter/index.html#/create-tmp
5 创建虚拟机
到此为止,我们就可以通过StarVCenter随心所欲地创建虚拟机了。
5.1 创建虚拟机(克隆)
进入“云组件管理”>“虚拟机”菜单,点击“创建虚拟机”按钮,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

在弹出框中输入虚拟机名称,其它选择默认第一个选项,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

点击“下一步”按钮,选择CPU、内存、网卡规格等,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

继续点击“下一步”按钮,确认虚拟机配置,然后点击“开始创建”按钮,系统开始创建虚拟机,大约需要几秒到几十秒完成创建。
进入“云组件管理”》“虚扩机”菜单中能看到刚创建的虚拟机,点击右侧操作栏的“启动”按钮,启动虚拟机。等虚拟机变成“运行”状态后 ,点击“连接”按钮可打开虚拟机的控制台,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机
虚拟机控制台打开后,输入模板默认账号密码root/Svc*2009登录操作系统(注意不同系统管理员账号有差异,详见官网虚拟机模板目录下的:模板镜像默认账号.png),然后执行“ip a”命令,查看到IP地址已自动配置好,如下图所示:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

5.2 跨主机迁移
超融合部署的存会对所有节点都是共享的,因此虚拟机可以随意地在各个计算节点之间迁移,这种迁移不需要停止虚拟机,对虚拟机来说是无感知的。
我们来试一试迁移操作,在“虚拟机列表”右侧操作栏中点击“下拉”框,选择“跨主机迁移”,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

在弹出框中就可以选择迁移到哪台计算节点上,此处我们选择迁移到starve002节点,点击“确定”按钮开始迁移,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机
迁移完成后,可以看到虚拟机的宿主机变成“starve002”节点,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

5.3 迁入虚拟机
将第三方平台(如VMware、阿里云等)的虚拟机或物理机及系统,整体迁移转换为本平台的虚拟机(期间源端业务不停机)。这里演示VMware中的windows虚拟机迁入本平台,首先进入“虚拟机管理>迁入虚拟机”菜单,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

首次使用需先安装迁移插件,在上图中点击“安装插件”按钮。若当前平台能通互联网则选择“自动下载并安装”选项。若不通互联网,则先找能上网的电脑按页面提示的地址下载,然后选择“人工下载后上传安装”选项。
安装完成后,上图中“安装插件”铵钮将变为“进入迁移管理”,点击该按钮后打开“迁移任务”页面,如下图所示:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

在上图中点击“创建迁移任务”按钮,打开创建迁移任务窗口,按照导航执行以下几步:
(1)选择目标主机要放在StarVCenter的哪个子网中,如图所示:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

(2)添加源主机, 完成后点击“下一步”,如下图所示:
说明:迁移windows虚拟机时,需要在被迁移的windows虚拟机中安装迁移代理,而linux虚拟机无须安装迁移代理。对于VMware中的虚拟机,迁移之前强列建议迁移前先卸载VMware Tools。
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

(3)选择主标主机放在哪个存储中,点击“下一步”,如下图所示:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

(4)配置迁移参数页面直接点下一步,确认信息后,创建任务,如下图所示:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

等待任务进度开始后,就可以在StarVCenter中看到迁移迁移任务自动创建的虚拟机,如下图所示:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

等待任务进度完成后,源主机中的数据就完整复制到目标虚拟机中了。
(5)业务切换
由于迁移期间源主机中的业务并未停止,业务数据仍在变化。因此业务切换到目标主机须执行以下几步:
1) 先关停源主机中的业务,确保无数据增长后,在迁移任务的操作栏点击“结束”按钮完成迁移任务。
2) 源主机关机或断网。
3) 在StarVCenter中找到目标虚拟机并启动。
(6)安装驱动
针对源主机为非KVM平台的windows虚拟机、windows物理机的情形,其网卡和磁盘驱动不兼容,需参考windows更新驱动完成更新。
安装QGA,为目标虚拟机提供个性化组件,便于系统主机名、IP的自动化配置和管理,windows参考windows QGA安装,linux参考linux QGA安装。
到此为止,相信大家已经可以随意地管理操控虚拟机了。
当这套3节点环境资源不够时,我们可以扩充更多的计算节点,不断提升集群的计算和存储能力,操作方法见附录-“扩充计算节点方法”。
6 附录
6.1 刻录安装U盘方法
推荐使用Rufus刻录安装盘,工具获取地址:http://rufus.ie/。打开rufus,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

在“设备”栏,软件会自动识别当前系统的U盘,选择需要刻录的U盘。再点击“选择”按钮,选择已经下载的ISO文件。其他设置保持系统默认,再点击【开始】:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

选择“以ISO镜像模式写入(推荐)”,再点击【OK】,开始刻录。
6.2 扩充节点方法
当资源池中算力不够时,可以通过扩充计算节点的方式加入全新的服务器。首先需要在新的服务器上安装StarVE操作系统(参照上文件安装操作系统方法),在操作系统安装主界面选择安装类型为 “Basic node”,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

另外,主机名不能重复,IP地址能与之前安装的服务器所设置的IP互通即可。进度走完,点击“reboot”完成系统重启。
进入之前安装的StarVCenter管理界面,在“资源管理”>“扩充计算节点”菜单下依次执行“添加节点”、选择“扩充超融合节点”、“配置网卡与磁盘用途”、“一键部署”即可,如下图:
3台服务器+StarVCenter搭建 “超融合云平台” --完美体验跑100台虚拟机

部署成功后,在“资源管理”>“物理主机”列表中可找到刚部署的主机,此时扩充的物理主机就可以运行虚拟机了。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...