Basta remover o arquivo .list
criado:
sudo rm /etc/apt/sources.list.d/vertex-theme.list
sudo rm /etc/apt/sources.list.d/vertex-theme.list.save
Depois disso, execute e atualize e talvez até mesmo um upgrade dist:
sudo apt update
sudo apt dist-upgrade
Como você já removeu a chave, não tem mais nada a fazer.