rm
é um arquivo binário e, portanto, depende da arquitetura. Isso só funcionaria se você copiasse da mesma arquitetura e com as mesmas bibliotecas necessárias instaladas.
Como alternativa, você pode compilar a partir do código-fonte ou instalar o pacote binário. Nos sistemas Debian, é um pacote .
Caso você já tenha um binário e queira conhecer sua arquitetura, use os comandos file
ou objdump
.