Exclua também todos os metadados associados à Lixeira, não apenas aos arquivos.
rm -rf ~/.local/share/Trash
Não é necessário usar sudo
para nada aqui. Os arquivos são seus.
Na próxima vez que você enviar algo para a lixeira, a pasta Lixeira será gerada adequadamente.