CVK后台安装第三方软件包导致虚拟机迁移报错“网络通信异常（错误码11）”

略，常规组网。

CAS E0501版本，虚拟机迁移时报错：网络通信异常（错误码：11），请检查网络连接并在页面刷新后重试此操作。

现场CAS版本是E0501版本，虚拟机迁移涉及的网络就是管理网络和存储网络（CAS5.0新版本也会有专用的迁移网络，请关注），而且CVK级别的网络访问而非虚拟机级别的访问。所以一般排查此类问题就从三方面着手：

1、 网络异常

2、 CVK之间免key失效

3、 CVM/CVK主机本身运行异常

排查网络异常最简单的方式就是去ping一下，看下有没有丢包的情况。如果有丢包或者延迟比较大，就需要去查查网络了。查网络包含是交换机IP/FC网络、中间链路网线以及服务器网卡等都建议查一查看；

CVK之间免key失效又是怎么回事儿呢？在CVM上将CVK加入管理之后，所有CVK和CVM之间都是免key的，就是可以通过CVM/CVK的后台不需要密码就可以ssh到其他的主机上。当免key失效的时候涉及CVK之间的拷贝等就问有问题。

那么免key为什么会失效呢？大部分的原因是部分CVK主机重新安装导致。需要重新导入下免key。测试方式就是ssh看一下，正常是直接可以ssh过去，如果有以下提示说明免密失效，按照说明重新导入下即可。

root@CVM:/var/lib/casserver/logs# ssh 10.32.203.215

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!

Someone could be eavesdropping on you right now (man-in-the-middle attack)!

It is also possible that a host key has just been changed.

The fingerprint for the ECDSA key sent by the remote host is

df:95:23:88:3c:1d:e8:90:fc:50:75:ee:46:12:5a:62.

Please contact your system administrator.

Add correct host key in /root/.ssh/know_hosts to get rid of this message.

Offending ECDSA key in /root/.ssh/know_hosts:1

  remove with: ssh-keygen -f "/root/.ssh/know_hosts" -R 10.32.203.215

Password authentication is disabled to avoid man-in-the-middle attacks.

Keyboard-interactive authentication is disabled to avoid man-in-the-middle attacks.

Last login: Sat Mar 18 16:14:37 2017 from 10.32.203.216

查看该客户环境免密没有失效，那么只剩下一种可能就是CVK/CVM本身运行异常了。常规的主机异常排查方法就是查查各项资源利用率，类似有没有明显的病毒导致CPU利用率很高啊等的功能异常的进程。除了这些查看方法，还有一种操作就是去查看后台的操作日志。该操作日志存储路径为/var/log/operation，和history命令不同的是可以记录操作时间、操作用户名、操作IP地址和详细的命令输出。一般的病毒只会清理linux标准的日志记录，像history。Operation日志是CAS专门的记录所有的后台执行命令。

在该客户环境/var/log/operation目录下执行find ./ -name “*” | xargs

grep dpkg查询发现有一些deb的记录。继续查看客户执行的deb包邮docker

等等软件包。就导致如python版本，CASE0501版本的python是2.7.3，客户直

接给升到了2.7.6，并且多了/usr/lib/python3目录。以及一些其他变化，导致

CAS本身运行异常。

问题定位在客户在CVK后台安装未经过适配的软件等导致CAS本身运行异常，由于涉及deb包众多，且现场业务量不大，所以处理方法就是保存虚拟机磁盘文件后重新安装CAS了。

说明：涉及CVK后台安装软件包问题做个说明，没有做过和CVK官方适配的软件不建议直接安装在CVK后台，因为有可能会和CAS某个功能或者某个进程有端口冲突等等。比如该客户想让CAS和openstack对接，这个需求本身没什么问题，CAS提供了标准的第三方接口可以对接配合，但是openstack不能直接安装在CVK下，需要独立安装，网络可达，然后调用。