Seu terminal trava, isso é muito estranho. No terminal, geralmente sou capaz de remover espaços, escapando do caractere de espaço com uma barra invertida:
rm -r test\ dir
Se isso não funcionar, você tentou colocá-lo entre aspas simples ou duplas:
rm -r "test dir"
ou rm -r 'test dir'
Outra idéia seria instalar um gerenciador de arquivos de terminal como o Midnight Commander e tentar remover o arquivo dessa maneira. Boa sorte!