Tente instalar o pacote nodejs no repositório do Ubuntu.
sudo apt-get install nodejs
Caso você precise de uma versão específica ou mais recente, eu recomendo ler as respostas de esta questão em seu lugar.
Outra alternativa é construí-lo em uma máquina mais rápida, executando as mesmas versões de software (Ubuntu, bibliotecas instaladas, etc.) como em sua máquina na qual você deseja implementar. Em seguida, copie todos os arquivos e só execute o install target usando make .