Tente isto:
:v/\d\+$/d
Sem um intervalo explícito, o comando :v
pesquisa todas as linhas no buffer e as linhas que fazem não correspondem ao padrão (nesse caso, um ou mais dígitos decimais no final de uma linha), executa o comando após o padrão, que neste caso apaga a linha.