Nadat ik afgelopen weekend de cursus “Deploying Resources to GCP with Terraform” te hebben voltooid, was het wel eens tijd om te kijken of dat ook werkt op mijn eigen proxmox testomgeving. Hoe kun je servers deployen via Terraform op ProxMox ? Hierbij de stappen die ik gezet heb.<\/p>\n
CloudInit<\/strong><\/p>\n Als eerste hebben we nodig een ProxMox server. Maar dat heb je al als het goed is. We gaan er vanuit dat we een Ubuntu 20.04 LTS server willen gaan installeren. We voeren daarvoor de volgende commando’s uit op de proxmox server:<\/p>\n Als je nu naar de web interface van proxmox gaat zie je dat er een template aangemaakt is met nummer $VM_ID (5000) in ons geval. Terraform<\/strong><\/p>\n We installeren terraform op een device. Voor Ubuntu zetten we de volgende stappen<\/p>\n Voor CentOS\/RHEL\/AlmaLinux gebruiken we deze stappen<\/p>\n We maken een directory aan waarbij we alle terraform dingetjes gaan doen<\/p>\n Om proxmox te kunnen gebruiken met Terraform hebben we de provider plugin nodig. Hiervoor maken we een bestand aan genaamd version.tf<\/p>\n hierin kopieren we de volgende tekst<\/p>\n Hiermee zorgen we dat terraform de Telmate proxmox plugin installeert.<\/p>\n vervolgens maken we een bestand aan var.tf<\/p>\n en daarin plaatsen we de volgende tekst<\/p>\n Hierin staan een aantal variabelen welke terraform en cloudinit kunnen gebruiken. Een aantal werkte er niet in mijn test, dus heb ik die in de main.tf geplaatst. En daarin zetten we de volgende configuratie<\/p>\n Dit zijn vooral de instellingen voor het creeeren van de VM’s. Welke proxmox server je moet gebruiken, hoeveel geheugen, disc size, cpu, netwerk config. Wanneer alles ingesteld is gaan we terraform zijn werk laten doen.<\/p>\n (of terraform apply -auto-approve om niet yes in te hoeven typen)<\/p>\n Vervolgens gaat terraform 2 nieuwe VM’s aanmaken, terra-test1 en terra-test2. Als alles goed is gegaan kunnen we ook de net gecreeerde servers weer verwijderen. Alles is nu weer verwijdert.<\/p>\n Ansible<\/strong><\/p>\n Om ook Anisble te gebruiken maken we de volgende aanpassingen in main.tf<\/p>\n Dit ga ik nog nader specificeren<\/p>\n
\nVervolgens hebben we een CloudInit image nodig. deze zorgt ervoor dat na de installatie er al een aantal dingen worden ingesteld zoals DNS, username en bijv. de ssh keys.
\nAls eerste maken we even een public key aan welke we kunnen gebruiken.<\/p>\nssh-keygen -f cloudinit<\/pre>\n
wget http:\/\/cloud-images.ubuntu.com\/focal\/current\/focal-server-cloudimg-amd64.img\r\nexport VM_ID=\"5000\" # Gebruik een hoog ID zodat we niet in conflict komen met VM ID's die we gaan uitrollen\r\nqm create $VM_ID --memory 2048 --net0 virtio,bridge=vmbr0 --sockets 1 --cores 2 --vcpu 2 -hotplug network,disk,cpu,memory --agent 1 --name cloud-init-ubuntu20 --ostype l26\r\nqm importdisk $VM_ID focal-server-cloudimg-amd64.img local-lvm # Waarbij local-lvm een storage locatie is\r\nqm set $VM_ID --scsihw virtio-scsi-pci --virtio0 local-lvm:vm-$VM_ID-disk-0 # Waarbij local-lvm wederom de storage locatie is\r\nqm set $VM_ID --ide2 local-lvm:cloudinit # Wederom local-lvm is de storage locatie\r\nqm set $VM_ID --boot c --bootdisk virtio0\r\nqm set $VM_ID --serial0 socket\r\nqm template $VM_ID\r\nrm focal-server-cloudimg-amd64.img<\/pre>\n
\nKlik op deze template en klik daarna op Cloud-Init
\nHierin kun je een aantal dingen instellen welke meegenomen worden bij het installeren van de server.
\nJe kunt bijv. de username opgeven. Als je daarbij ook de ssh public key opgeeft kun je connecten met de server nadat deze klaar is.
\nDeze installingen kunnen eventueel ook nog in Terraform geregeld worden.
\nNu hebben we de cloudinit geregeld en kunnen we verder met het Terraform gedeelte.<\/p>\ncurl -fsSL https:\/\/apt.releases.hashicorp.com\/gpg | sudo apt-key add -\r\nsudo apt-add-repository \"deb [arch=amd64] https:\/\/apt.releases.hashicorp.com $(lsb_release -cs) main\"\r\nsudo apt-get update && sudo apt-get install terraform\r\n<\/pre>\n
sudo yum install yum-utils\r\nsudo yum-config-manager --add-repo https:\/\/rpm.releases.hashicorp.com\/RHEL\/hashicorp.repo\r\nsudo yum -y install terraform\r\n<\/pre>\n
mkdir terraform\r\ncd terraform<\/pre>\n
vim version.tf<\/pre>\n
terraform {\r\nrequired_providers {\r\nproxmox = {\r\nsource = \"Telmate\/proxmox\"\r\nversion = \"2.6.8\"\r\n}\r\n}\r\nrequired_version = \">= 0.14\"\r\n}\r\n<\/pre>\nvim var.tf<\/pre>\n
variable \"proxmox_host\" {\r\ntype = map\r\ndefault = {\r\npm_api_url = \"https:\/\/pve_host:8006\/api2\/json\"\r\npm_user = \"root@pam\"\r\ntarget_node = \"pve1\"\r\n}\r\n}\r\n\r\nvariable \"vmid\" {\r\ndefault = 400\r\ndescription = \"Starting ID for the CTs\"\r\n}\r\n\r\nvariable \"hostnames\" {\r\ndescription = \"VMs to be created\"\r\ntype = list(string)\r\ndefault = [\"terra-test1\", \"terra-test2\"]\r\n}\r\n\r\nvariable \"rootfs_size\" {\r\ndefault = \"2G\"\r\n}\r\n\r\nvariable \"ips\" {\r\ndescription = \"IPs of the VMs, respective to the hostname order\"\r\ntype = list(string)\r\ndefault = [\"10.10.10.100\", \"10.10.10.101\"]\r\n}\r\n\r\nvariable \"ssh_keys\" {\r\ntype = map\r\ndefault = {\r\npub = \".\/terraform\/cloudinit.pub\"\r\npriv = \".\/terraform\/cloudinit\"\r\n}\r\n}\r\n\r\n#variable \"ssh_password\" {}\r\n\r\nvariable \"user\" {\r\ndefault = \"terrauser\"\r\n}<\/pre>\n
\nDat bestand gaan we nu aanmaken.<\/p>\nvim main.tf<\/pre>\n
provider \"proxmox\" {\r\npm_api_url = \"https:\/\/pve_host:8006\/api2\/json\"\r\npm_user = \"root@pam\"\r\npm_password = \"secretpassword\"\r\npm_tls_insecure = true\r\n}\r\n\r\nresource \"proxmox_vm_qemu\" \"prox-vm\" {\r\ncount = length(var.hostnames)\r\nname = var.hostnames[count.index]\r\ntarget_node = var.proxmox_host[\"target_node\"]\r\nvmid = var.vmid + count.index\r\nfull_clone = true\r\nclone = \"cloud-init-focal\"\r\n\r\ncores = 2\r\nsockets = 1\r\nvcpus = 2\r\nmemory = 2048\r\nballoon = 2048\r\nboot = \"c\"\r\nbootdisk = \"virtio0\"\r\n\r\nscsihw = \"virtio-scsi-pci\"\r\n\r\nonboot = false\r\nagent = 1\r\ncpu = \"kvm64\"\r\nnuma = true\r\nhotplug = \"network,disk,cpu,memory\"\r\n\r\nnetwork {\r\nbridge = \"vmbr0\"\r\nmodel = \"virtio\"\r\n}\r\n\r\nipconfig0 = \"ip=${var.ips[count.index]}\/24,gw=${cidrhost(format(\"%s\/24\", var.ips[count.index]), 1)}\"\r\n\r\ndisk {\r\n#id = 0\r\ntype = \"virtio\"\r\nstorage = \"local-zfs\"\r\nsize = \"5G\"\r\n}\r\n\r\nos_type = \"cloud-init-ubuntu20\"\r\n\r\n#creates ssh connection to check when the CT is ready for ansible provisioning\r\nconnection {\r\nhost = var.ips[count.index]\r\nuser = var.user\r\nprivate_key = file(var.ssh_keys[\"priv\"])\r\nagent = false\r\ntimeout = \"3m\"\r\n}\r\n<\/pre>\n
\nDit staat allemaal in deze file.<\/p>\nterraform init\r\nterraform plan\r\nterraform apply<\/pre>\n
\nWanneer het allemaal gelukt is kun je connecten via<\/p>\nssh -i cloudinit terrauser@10.10.10.100 # -i is de variabele voor de key file\r\n<\/pre>\n
\nDit doe je dmv het commando<\/p>\nterraform destroy<\/pre>\n
provisioner \"remote-exec\" {\r\n# Leave this here so we know when to start with Ansible local-exec\r\ninline = [ \"echo 'Cool, we are ready for provisioning'\"]\r\n}\r\n\r\nprovisioner \"local-exec\" {\r\nworking_dir = \"..\/..\/ansible\/\"\r\ncommand = \"ansible-playbook -u ${var.user} --key-file ${var.ssh_keys[\"priv\"]} -i ${var.ips[count.index]}, provision.yaml\"\r\n}\r\n\r\nprovisioner \"local-exec\" {\r\nworking_dir = \"..\/..\/ansible\/\"\r\ncommand = \"ansible-playbook -u ${var.user} --key-file ${var.ssh_keys[\"priv\"]} -i ${var.ips[count.index]}, install-qemu-guest-agent.yaml\"\r\n}\r\n}\r\n<\/pre>\n