A versão específica que você precisa não está disponível no PPA para ser usada com apt , mas foi criada e está disponível para download como arquivos separados no repository's builds list .
Basta fazer o download do arquivo da versão + release + arch desejado e instalá-lo com dpkg -i nodejs.deb .
Não se esqueça que se depois de instalar a versão desejada do nodejs um apt-get upgrade atualizará a versão atual para a última versão, então você precisará fixar o pacote para que não seja atualizado .