Quase lá, você só precisa remover o endereço do initrd.img do kernel removido em /var/lib/initramfs.tools
sudo rm /var/lib/initramfs-tools/4.5.3-040503-generic
Isso irá parar update-initramfs
(invocado pela mudança de módulo que você fez) de tentar regenerar o initrd para um kernel inexistente.
Execute o comando de instalação que você fez novamente depois para concluir a configuração.