Cette page a pour but d'expliquer comment migrer un DomU de Xen vers une VM sous Proxmox.
Sommaire
Création de la VM Proxmox
Premièrement, il faut créer une VM d'accueil sous Proxmox, vierge.
Création du volume logique
On crée le volume pour cette VM
$ cd /usr/scripts/gestion/iscsi
$ ipython
In [1]: import nolslib
In [2]: nols = nolslib.Nols()
In [3]: nols.create_volume('apprentis', 6, 'GiB', 'vmdisk')
Le volume apprentis a été créé, son numéro d'identification est 21
In [4]: nols.logout()
Si vous avez effectué des modifications pensez à exécuter:
/usr/scripts/gestion/iscsi/update.sh sur chacun des dom0 Quittez alors ipython, et obéissez au script, en exécutant update.sh sur fy, fz, kdell et vo (qui sert de nœud redondant pour proxmox en attendant la fin des migrations).
Création de l'hôte sous Proxmox
Plusieurs choix s'offrent à vous, je vais tenter de les détailler.
Création en command line sur un des nœuds du cluster Proxmox
Création du volume
Toutes les commandes sont à faire sur la machine sur laquelle vous voulez faire votre travail.
Je ferai sans doute un script reprenant toutes ces étapes, quand j'en aurai le temps, en gros, il faut modifier un certain nombre de fichiers, et vérifier que Proxmox a bien pris en compte les changements. Ne faites pas ces changements si vous n'êtes pas sûrs de maîtriser l'intégralité des outils que Proxmox propose : vous pouvez juste péter l'intégralité des services, en command line. Idéalement, assurez-vous que tous les servers du cluster sont bien sur le réseau et arrivent à parler entre eux. Le plus simple reste toujours l'interface web.
Premièrement, il faut repérer le disque iscsi à configurer en lvm. Pour cela, rien de plus simple, faîtes ls -al /dev/disk/by-path | grep lun-21 (pensez à remplacer le 21 par le numéro que vous a donné ipython).
$ ls -al /dev/disk/by-path | grep lun-21 lrwxrwxrwx 1 root root 10 août 14 12:23 ip-10.0.0.93:3260-iscsi-iqn.1986-03.com.hp:storage.p2000g3.114213a1f2-lun-21 -> ../../sddg lrwxrwxrwx 1 root root 10 août 14 12:23 ip-10.0.0.97:3260-iscsi-iqn.1986-03.com.hp:storage.p2000g3.114213a1f2-lun-21 -> ../../sddh
Cherchons donc sddg et sddh dans /dev/disk/by-id.
$ ls -al /dev/disk/by-id | grep sdd[gh] lrwxrwxrwx 1 root root 10 août 14 12:43 scsi-3600c0ff00013da4eb0760b5201000000 -> ../../sddh lrwxrwxrwx 1 root root 10 août 14 12:43 wwn-0x600c0ff00013da4eb0760b5201000000 -> ../../sddh
On ne trouve qu'un des deux, normal. Je m'explique. J'aurais bien voulu utiliser directement ce qu'on a trouvé dans /dev/disk/by-path ou /dev/sddg, mais ce sont des valeurs qui dépendent, pour une, de l'ip que la baie de disques a prise (10.0.0.93 ou 10.0.0.97]), et pour l'autre, de l'ordre d'apparition des disques dans udev (sddg ou sddh). Ce sont des données changeantes. Proxmox n'aime pas les données qui peuvent changer. En revanche, l'id est une donnée immuable (sauf si vous détruisez le volume). Donc il faut trouver l'id. Comme celui-ci ne dépend pas de l'ip de l'interface de la baie, ou de l'ordre d'apparition, il ne peut exister deux liens avec le même id dans /dev/disk/by-id, donc on en a qu'un. Mais nous, on s'en fout. Notez cet id quelque part. (celui qui commence par scsi-).
Attention, maintenant slon a aussi des volume logiques avec lun-<numéro>, donc si vous en trouvez plus de 2, ignorez celui dont l'IP n'est pas une des deux de nols : 10.0.0.93 et 10.0.0.97 (slon a pour IPs .30 et .31).
Maintenant, créons un groupe de volumes sur le nouveau disque. On utilise pour cela la commande vgcreate. (vg = volume group)
# vgcreate apprentis /dev/iscsi_apprentis
Pour les petits curieux qui se demandent pourquoi j'ai pas utilisé pvcreate avant, c'est parce que vgcreate crée le volume physique à la volée si ce n'est pas fait.
Maintenant, on crée le stockage dans /etc/pve/storage.cfg
# vim /etc/pve/storage.cfg
Ajoutez ça (en remplaçant 21 par le numéro de lun et en mettant le bon id scsi) :
lvm: apprentis
vgname apprentis
base nols:0.0.21.scsi-3600c0ff00013da4eb0760b5201000000
shared
content imagesSauvegardez, rechargez la page proxmox si vous faites du ouaibe en parallèle, et admirez.
Maintenant, trouvez un id de vm libre. L'idée est d'avoir une suite continue, donc de prendre le premier libre en partant de 100. La config d'une VM n'est accessible que sur le nœud qui l'héberge actuellement. Il faut donc consulter tous les nœuds, et vérifier la liste des id pris dans /etc/pve/qemu-server et /etc/pve/openvz (a priori vide, on utilise pas openvz).
Hint :
ls -al /etc/pve/nodes/*/*/*.conf | cut -d "/" -f 7 | sort -n
Une fois l'id trouvé, créez le volume logique vm-idtrouvé-disk-1 dans le volumegroup que vous avez créé précédemment, pour moi, l'id est 107. -n permet de donner un nom au disque et on utilise la convention de nommage qu'utilise l'interface web (le disque aurait eu ce nom si on l'avait fait avec le cliquodrome), -l 100%FREE signifie qu'on veut utiliser 100% de l'espace libre sur le groupe de volume apprentis. Ça donne donc :
# lvcreate -n vm-107-disk-1 -l 100%FREE apprentis
Création de la machine
Je crée donc /etc/pve/qemu-server/107.conf et j'y mets :
args: -nographic -serial unix:/var/run/qemu-server/107.serial,server,nowait balloon: 128 bootdisk: virtio0 cores: 1 ide2: none,media=cdrom memory: 512 name: apprentis net0: e1000=EE:DC:7E:BB:48:3B,bridge=vmbr0 net1: e1000=EE:DC:7E:BB:48:3C,bridge=vmbr2 ostype: l26 virtio0: apprentis:vm-107-disk-1 sockets: 1
- Modifiez args en mettant l'id voulu à la place de 107
- Changez le name
- Mettez autant de netX que besoin est, en bridgant correctement. Attention, vmbr0 est le vlan 1, et ensuite, vmbrX est le vlan X. Mettez la mac de l'ancienne machine sur chaque interface.
- Pour virtio0, mettez nomduvolumegroup:nomdulvmqu'onacréé
- Ne touchez pas à sockets, sauf si vous avez lu la doc de proxmox.
Enregistrez et quittez.
On va maintenant mettre en place le contenu du disque.
Remplissage du disque
Bon, maintenant, bunches of fun comming. La suite se fait en root. Toujours pareil, remplacez apprentis par le vgname voulu, et 107 par l'id voulu. Vous arrivez dans le plus beau prompt du monde. Les parties importantes sont entre astérisques, le reste est là pour préserver le contexte
# fdisk /dev/apprentis/vm-107-disk-1
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x67a1fd65.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
***Command (m for help): n***
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
***Select (default p): p***
***Partition number (1-4, default 1): 1***
***First sector (2048-12574719, default 2048): ***
Using default value 2048
***Last sector, +sectors or +size{K,M,G} (2048-12574719, default 12574719): ***
Using default value 12574719
***Command (m for help): t***
Selected partition 1
***Hex code (type L to list codes): 8e***
Changed system type of partition 1 to 8e (Linux LVM)
***Command (m for help): a***
***Partition number (1-4): 1***
***Command (m for help): w***
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 22: Argument invalide.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
Syncing disks.Le warning à la fin tombe bien, on va utiliser kpartx pour accéder au volume qu'on vient de créer.
# kpartx -av /dev/apprentis/vm-107-disk-1
kpartx sert à rendre accessibles les partitions qu'on vient de créer, qui ne le sont pas de base. kpartx vient, dans mon exemple, de créer /dev/mapper/apprentis-vm--107--disk--1p1, qui est un lien symbolique vers /dev/dm-11, comme on peut le voir ici :
$ ls -al /dev/mapper total 0 drwxr-xr-x 2 root root 300 août 14 13:28 . drwxr-xr-x 23 root root 12720 août 14 13:28 .. lrwxrwxrwx 1 root root 8 août 14 13:23 apprentis-vm--107--disk--1 -> ../dm-10 ''lrwxrwxrwx 1 root root 8 août 14 13:28 apprentis-vm--107--disk--1p1 -> ../dm-11'' crw------- 1 root root 10, 61 juin 11 13:07 control lrwxrwxrwx 1 root root 7 août 14 01:52 irc-vm--106--disk--1 -> ../dm-8 lrwxrwxrwx 1 root root 7 août 10 15:06 kdell-slash -> ../dm-0 lrwxrwxrwx 1 root root 7 août 10 15:06 kdell-swap -> ../dm-2 lrwxrwxrwx 1 root root 7 août 10 15:06 kdell-var -> ../dm-1 lrwxrwxrwx 1 root root 7 août 10 16:54 pea-vm--105--disk--1 -> ../dm-9 lrwxrwxrwx 1 root root 7 juil. 3 22:23 pouhle_ouanne-vm--100--disk--1 -> ../dm-7 lrwxrwxrwx 1 root root 7 juin 17 18:54 pouhle_ouanne-vm--101--disk--1 -> ../dm-3 lrwxrwxrwx 1 root root 7 juin 22 14:28 pouhle_ouanne-vm--102--disk--1 -> ../dm-4 lrwxrwxrwx 1 root root 7 juin 22 15:31 pouhle_ouanne-vm--103--disk--1 -> ../dm-6 lrwxrwxrwx 1 root root 7 juin 17 18:57 pouhle_ouanne-vm--104--disk--1 -> ../dm-5
On crée maintenant le lvm propre à la machine. Pour éviter les conflits, il faut nommer le lvm avec un nom qui n'est pas pris, ici, j'utiliserai apprentislv.
# vgcreate apprentislv /dev/mapper/apprentis-vm--107--disk--1p1 # lvcreate -n slash -L 3000MB apprentislv # lvcreate -n var -L 3000MB apprentislv # lvcreate -n swap -l 100%FREE apprentislv
On crée les fs :
# mkfs.ext4 /dev/apprentislv/slash # mkfs.ext4 /dev/apprentislv/var # mkswap -f /dev/apprentislv/swap # mkdir /mnt/apprentis # mount /dev/apprentislv/slash /mnt/apprentis # mkdir /mnt/apprentis/var # mount /dev/apprentislv/var /mnt/apprentis/var
On coupe le serveur à migrer sur fy ou fz, et on monte ses disques correctement (var peut ne pas exister, et d'autres partitions peuvent exister, penser à vérifier ce que donne ls -al /dev | grep iscsi_apprentis)
$ sudo xm shutdown apprentis $ sudo mkdir /mnt/apprentis $ sudo mount /dev/iscsi_apprentis_slash /mnt/apprentis $ sudo mount /dev/iscsi_apprentis_var /mnt/apprentis/var
Transfert à base de tar
On remplit une archive tar avec les données du domu. (on aurait pu utiliser un tunnel netcat, mais tous mes tests ont mené à des freezes, or la perte de données est à proscrire)
# cd /mnt/apprentis # tar --numeric-owner -pscf /apprentis.tar .
Quand c'est plein, on l'envoie sur l'hôte proxmox, et on décompresse.
# cd /mnt/apprentis # tar --numeric-owner -xpsf /apprentis.tar
Transfert à base de rsync
En supposant que votre ancien système est monté dans /mnt/old_apprentis et le nouveau dans /mnt/apprentis, on peut faire un rsync récursif (noter la position des /)
rsync -aXAH --numeric-ids /mnt/old_apprentis/ /mnt/apprentis
On peut avoir fait un premier transfert des partitions intéressantes, lorsque le serveur était up, à l'aide de ssh :
rsync --rsh=ssh -aXAHx --numeric-ids root@apprentis.adm.crans.org:/ /mnt/apprentis rsync --rsh=ssh -aXAHx --numeric-ids root@apprentis.adm.crans.org:/var/ /mnt/apprentis/var
À noter que l'on a rajouté l'option -x (aka --one-filesystem) pour éviter de rsync des partitions nfs (/usr/scripts ou /home/ …), cela nous oblige donc à rsync les différents points de montage.
Retour à l'install
Une fois que c'est fini, on un du -s dans /mnt/apprentis permet de voir si tout est bon des deux côtés. Puis, faites sur le dom0 :
# umount /mnt/apprentis/var # umount /mnt/apprentis
Enfin, faites sur l'hôte proxmox : (PAS FINI)
# mount -o bind /dev /mnt/apprentis/dev # mount -o bind /dev/pts /mnt/apprentis/dev/pts # mount -o bind /proc /mnt/apprentis/proc # mount -o bind /sys /mnt/apprentis/sys # chroot /mnt/apprentis/ /bin/bash # Faire ce qu'il faut pour que resolv.conf contienne 138.231.136.98 # apt-get update # apt-get install linux-image-amd64 # apt-get install lvm2 # apt-get install grub2 //refuser d'installer grub sur un disque, retrouver le bon est trop chiant.
Nettoyez les modifications que vous avez faites dans /etc/resolv.conf. Il faut maintenant trouver vers quel descripteur pointe /dev/apprentis/vm-107-disk-1, ls -al /dev/apprentis permet de répondre à cette question. Chez moi c'est /dev/dm-10.
Activer le debug série dans la console linux en mettant à jour les variables suivantes dans /etc/default/grub :
GRUB_CMDLINE_LINUX_DEFAULT="console=tty0 console=ttyS0,115200n8" GRUB_CMDLINE_LINUX="console=tty0 console=ttyS0,115200n8"
Modifier alors /boot/grub/device.map, et en vider le contenu. Mettre
(hd0) /dev/dm-10
Exécuter update-grub2, puis taper exit pour sortir du chroot. Il reste à faire grub-install --root-directory=/mnt/apprentis /dev/dm-10, pour installer grub sur le disque dur. Puis enfin, modifiez /mnt/apprentis/etc/fstab et /mnt/apprentis/etc/fstab.local pour prendre en compte l'apparition du lvm sur votre nouvelle machine. En gros, les disques auront pour chemin /dev/apprentislv/slash etc.
Enfin, modifier /mnt/apprentis/etc/inittab, et remplacer la ligne à la fin, de la forme vc:2345:respawn:/sbin/getty 38400 hvc0 par :
S0:12345:respawn:/sbin/agetty -L 115200 ttyS0 vt102
Puis, finissez par :
# umount /mnt/apprentis/var # umount /mnt/apprentis/proc # umount /mnt/apprentis/sys # umount /mnt/apprentis/dev/pts # umount /mnt/apprentis/dev # umount /mnt/apprentis # vgchange -a n apprentislv # kpartx -dv /dev/apprentis/vm-107-disk-1 # vgchange -a n apprentis
Enfin, tentez un qm start 107 (comme d'habitude, remplacez 107 par le bon id)…
Une fois la machine correctement démarrée (croisons les doigts), modifier nouveau /etc/default/grub :
GRUB_TERMINAL=serial GRUB_SERIAL_COMMAND="serial --speed=115200 --unit=0 --word=8 --parity=no --stop=1"
(ceci active la console grub série)
Enfin, recalculer le mapping de grub et regénérer sa config :
# grub-mkdevicemap # update-grub2
L'objectif est de remplader le /dev/dm-10 qui est dans /boot/grub/device.map, et refaire la config.
Trucs à faire pour finaliser
- Changer les groupes dans bcfg2
virer les fichiers de config xen /etc/xen/[nom_de_la_vm], sur fy et fz pour éviter de lancer l'ancien domU
- Virer le cron qui mettait à jour la date (kludge pour xen):
sudo rm /etc/cron.d/ntpdate