Quando você usa rm -rf ~/.Trash/*
, está usando diretamente uma chamada de sistema que desassocia esses arquivos do sistema de arquivos, liberando o espaço alocado por eles. Se você usar uma ferramenta GUI (suponho que você esteja se referindo a ela quando disser "click empty trash") ela provavelmente está salvando ou movendo esses arquivos para algum outro lugar para que você possa desfazer a exclusão, o que não é diretamente possível usando o comando shell linha. Essa deve ser a razão pela qual é mais rápido, mas não explicaria a ferramenta GUI levando "para sempre".
Quantas vezes mais rápido você percebe que a linha de comando apaga comparando com a ferramenta GUI?