O desempenho muda com base em sua lixeira vazia ou cheia? Mesmo com 1%, se você tiver uma unidade de 500 GB, ainda terá 5 gigabytes de arquivos na sua lixeira, o que pode ser um monte de arquivos se eles forem arquivos muito pequenos.
Acho muito melhor remover arquivos da lixeira com base em quanto tempo eles estão lá, não no tamanho.
O antivírus é outra possibilidade. Eu também vi outras ferramentas de terceiros que se instalam no lugar da lixeira. Verifique isso também e tente desabilitá-los. Se nada mais você poderia simplesmente começar a desabilitar todos os aplicativos que estão sendo executados na bandeja do sistema e ver se isso faz diferença.
Se nada disso funcionar, então obtenha o Process Explorer da SysInternals e veja se você sabe o que está acontecendo quando você exclui.