Se você não instalou o pacote com o yum ou o rpm, você também não poderá removê-lo com o yum.
Yum está essencialmente dizendo que o pacote está disponível no repositório, mas não está instalado.
Para remover node.js, basta deletá-lo de onde você o baixou.