A solução para esse problema foi fornecida por João André. Basicamente, sempre que eu limpava coisas da minha pasta Downloads, o mesmo não seria feito do Deluge, ou seja, os torrents e os arquivos associados eram removidos da própria pasta, mas como ainda permanecia na lista do Deluge, ele tentava para baixá-los novamente, resultando em várias pastas "fantasmas" vazias.