Você só precisa dar o caminho certo:)
Para excluir o arquivo TEST em ~/Downloads , use
rm ~/Downloads/TEST
que funcionaria de em qualquer lugar no sistema de arquivos porque é um caminho absoluto . É uma versão abreviada do caminho completo /home/$USER/Downloads/TEST ( $USER é expandido para o nome do usuário atual) porque ~ é um atalho para o diretório inicial, no meu caso /home/zanna
O caminho relativo , de ~/Documents seria
rm ../Downloads/TEST
.. especifica o diretório pai de onde você está agora e Downloads é um subdiretório desse diretório. Mas você deve ser extremamente cuidadoso ao usar rm com caminhos relativos, porque é fácil cometer um erro e excluir algo que você não pretendia!