Você já compilou. O make é o que compila. O make install simplesmente copia os executáveis e arquivos associados compilados para seus diretórios de destino em seu sistema.
A partir do que você descreve, parece que o que você está compilando simplesmente não possui um script install . Eu mesmo não compilei esse pacote em particular, mas essas ferramentas de terceiros geralmente não têm um script de instalação, pois são mais uma ferramenta geek especializada e os autores esperam que você saiba como usá-las.
Procure um diretório bin ou, alternativamente, para arquivos executáveis dentro do diretório src e execute esses arquivos. Por exemplo:
./bin/vasp