Você pode usar o comando find
. Estes comandos devem ser executados a partir de dentro do diretório onde seus arquivos .xls e .doc (e outros diretórios) são mantidos. NÃO execute isto no seu diretório pessoal!
A maneira mais fácil de fazer isso é apagar todos os arquivos não-xls e não-doc (CUIDADO, este comando irá apagar todos os outros arquivos):
find ./ -type f -not -name "*.xls" -and -not -name "*.doc" -exec rm {} \;
Depois, você pode usar isso para encontrar e excluir diretórios vazios. Para evitar o uso de um rm -rf
potencialmente muito destrutivo, isso exclui um nível por vez, você pode ter que executá-lo várias vezes para excluir todos os diretórios vazios:
find ./ -type d -empty -exec rmdir {} \;
Veja esta questão para mais detalhes sobre o que encontrar e como usá-lo.