如何进行ProxmoxVEV6.0新特性的分析

今天就跟大家聊聊有关如何进行ProxmoxVE V6.0 新特性的分析，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

成都创新互联是一家专业提供沙湾企业网站建设,专注与成都做网站、网站建设、H5网站设计、小程序制作等业务。10年已为沙湾众多企业、政府机构等服务。创新互联专业的建站公司优惠进行中。

    2019年7月proxmox发布了PVE 6.0版本，主要是debian操作系统以及ceph版本、以及其他关键组件进行了相关的升级。PVE自身功能方面，最主要的是能够实现本地磁盘虚拟机实现热迁移。

    对我来说，V6.0版本有3个地方有重大改进：

    1、逆天新功能，本地磁盘虚拟机实现热迁移

    此次V6.0版本有一个逆天的新功能，宿主机本地盘（local disk）上的虚拟机可以实现热迁移！ 

    大家一般的认识，热迁移一般都是使用分布式存储、或者共享磁盘的情况下才能实现，PVE打破了这个限制。这项功能更加丰富了特定应用场景的使用，比如有些人对分布式存储就是不感冒，就是喜欢用本地存储，现在也能使用虚拟机的热迁移功能了。

    2、零命令行，实现集群搭建

    我发现proxmox有一个持续改进的思路，就是零命令行！这一点对于很多开源产品的用户来说，简直是直接戳到了用户的心窝窝（别想歪了），太贴心了。

    通过web管理界面，你不需要配置什么双网卡bond，不需要安装复杂的集群软件和复杂的集群配置，不需要输入哪怕一条命令！

    只需要将所有宿主物理服务器安装好PVE环境，然后在第一个节点创建集群，在第二个节点加入集群（复制粘贴秘钥），第三个节点加入集群（复制粘贴秘钥），第四个节点加入集群（复制粘贴秘钥）。。。。完事。

    3、零命令行，实现ceph集群的搭建和管理

    通过web界面，不需要配置yum源安装ceph集群软件，不需要配置一堆ceph集群参数，直接点ceph，会提示下一步（后台自动安装软件），下一步（ceph参数配置），下一步，完事。

    通过web界面，可以很好的管理ceph集群，比如，查看每个ceph服务所在位置，状态，版本，停止OSD磁盘、mon、mds等，启动OSD磁盘、mon、mds等 。

    其实，以上的第2点和第3点在5.4版本也已经实现了，我是根据官网发布的介绍视频做的一个文字总结而已。

    今天抽空验证一下第1点，本地磁盘虚拟机实现热迁移。

    先说结论：

    1、pve6.0版本能够实现本地磁盘虚拟机热迁移；

    2、整个过程没有在pve后端执行一条命令（测试除外）；

    具体过程详见下面的操作记录。

设计思路：

基本想法是，3个以上物理节点的集群环境，组成HA，具体设想如下：

    1.网络方面需要内部集群管理（corosync）网络，业务网络，2个网络。由于是测试本地磁盘虚拟机迁移，因此没有ceph集群网络。

    2.存储方面，除了系统盘之外，每台物理机使用1块硬盘作为本地lvm存储，用作虚拟机的磁盘使用，因为我们这里需要测试6.0的本地磁盘虚拟机实现热迁移，因此不建ceph分布式存储集群；

    3.CPU和内存方面根据实际需求确定，这里不赘述。

操作记录：

一.环境准备：

    基于以上考虑，在这台pve环境上面，创建3个虚拟机，3vcpu/12G内存/2块硬盘/2块网卡 ，其中硬盘方面1块硬盘为系统盘31G，1块50G的lvm盘，网卡方面1块网卡作为虚拟机网络（192.168.170.0/24网段）使用，1块网卡给集群使用（192.168.1.0/24网段）。创建虚拟机如下：

 剩下2台测试虚拟机，直接克隆，分别为pve-2，pve-3 .

    接下来分别启动pve-1，pve-2，pve-3 进行proxmox VE的安装，如下图：

注意，我这里使用PVE创建PVE虚拟机，需要用到虚拟化嵌套，安装PVE的时候提示没有开启kvm虚拟化功能，后面会给出解决办法。如下提示，点OK：

安装步骤都很简单，傻瓜式的，其中选择硬盘会默认第一块硬盘安装系统，然后是设置root密码（123456）等等，网络配置步骤：

 3台虚拟机同时安装，非常快，不到10分钟，居然就安装完了！感觉比装vmware的ESXI也更快啊。

点右下角的Reboot重启。

第一阶段搞定，后面就可以建集群，配网络，建存储之类的后续操作了。

    通过输入网址：

    https://192.168.1.111:8006

    https://192.168.1.112:8006

    https://192.168.1.113:8006

    分别可以管理这3台pve。

二.配置网络

    先将第二块网卡的网络配上，系统安装过程中配置了第一块网卡作为内部管理集群网络，网段是192.168.1.0/24 ，登陆系统后可以发现这个地址是配置在网桥上的，网桥上搭一块网卡进行桥接，因此新建一个网桥并配置192.168.170.0/24网段的地址给它，搭另一块网卡进行桥接，如下图：

  注意第一块网卡设置了网关是192.168.1.1，这块网卡就不能设置网关了 。这个比较好理解，其实就是在主机上设置了默认网关，只能有一个。

    增加完网桥之后，需要重启pve节点生效配置。（网络更改都需要重启节点才能生效。）

三.存储设置

    接下来处理存储，进去看pve节点的存储，安装的时候安装程序会默认在安装盘上建立一个vg，名称是pve，在这个vg上建立swap/root/data三个lv ，其中root这个lv上挂载/根目录。 安装完成之后直接默认有两个存储ID，一个是local，对应的是目录型存储，挂载目录是/var/lib/vz ，一个是local-lvm，挂载的是data这个lv，这个lv的类型是lvm-thin ，lvm-thin这种类型很适合虚拟机使用，具体如何创建后面再介绍。另外，pve的各种存储类型主要有目录型/lvm/lvm-thin/zfs/nfs/ceph等等，具体可以参考官网的admin文档。

    我当初的设计是需要将最后一块50G的盘/dev/sdb作为虚拟机磁盘存储，直接在web界面上创建：

上传第一个ISO镜像，通过scp程序，我用的是winscp，直接从本机上传到pve-1的/var/lib/vz/templates/iso/目录中：

四.创建集群：

    注意：在创建集群前，先确保3个节点的网络配置都已经配置好了，不要忘了重启pve使网络配置生效。    

    在其中一台pve服务器的web管理界面上首先创建一个集群，如下图：

点击上面的“copy information” ,在另外2个pve节点加入这个集群，如下：

完成之后，随便登录一台pve的web管理界面，可以看到3台pve节点的集群信息：

发现pve-2和pve-3上的第2块硬盘还没有创建成lvm-thin盘，使用与pve-1一样的方法，创建lvm-thin盘，本地盘，用于存放虚拟机镜像，创建好之后如下：

五、热迁移功能验证（本地磁盘虚拟机）

    万事俱备，只欠东风。我们前面创建了3个节点的集群，集群主机没有使用分布式存储ceph，而是准备使用本地lvm-thin磁盘存放虚拟机镜像，现在我们来创建一个测试虚拟机，比如在pve-1上面创建一个centos7的虚拟机，然后热迁移到pve-2或者pve-3上面。

    虚拟机配置如下：

启动虚拟机，报错：

上面提到的虚拟化嵌套的问题。原来的解决办法是通过kvm的虚拟化嵌套解决，后面我发现有更简单的办法，就是在创建嵌套虚拟机的时候，将CPU类型选择为host，如下：

重新启动上面创建的虚拟机，成功！

安装完成，开始进行热迁移测试，从pve-1迁移到pve-2上，注意，现在pve-1、pve-2、pve-3都只有本地磁盘，没有共享存储或者分布式存储ceph，可以看到有提示：

Migration with local disk might take long .

意思是本地磁盘虚拟机迁移会花费很长时间。如下图：

报错：

需要将虚拟机的cdrom卸载掉：

再次测试，可以了：

迁移的同时，打开终端做ping测试，看看是否影响虚拟机的正常使用：

发现迁移过程不影响使用。迁移的原理应该是后台拷贝虚拟机镜像文件到目标pve节点，保存虚拟机运行状态以及增量更新数据，等拷贝完成后，将增量更新数据拷贝到新节点，同时将虚拟机运行状态转移到目标pve节点，将源pve节点虚拟机关闭，在目标pve节点开启虚拟机。

热迁移成功！从上面可以看到，虚拟机已经从pve-1迁移到了pve-2上了。

观察ping的结果，丢包率为0，说明虚拟机正常运行，未受到迁移的影响。

后面附上迁移过程的日志，有心的同学可以自行研究一下，proxmoxVE是怎么实现本地磁盘虚拟机热迁移的，日志如下：

Task viewer: VM 100 - Migrate (pve-1 ---> pve-2)

OutputStatus

Stop