Você provavelmente não deseja remover diretórios com base no tempo de modificação. O que você provavelmente quer fazer é remover um diretório, uma vez que não tem arquivos deixados nele.
Uma maneira de resolver isso seria o seguinte:
find /path/to/dir -type d -empty -exec rmdir {} \;
Se você tiver diretórios que são usados com freqüência, mas às vezes vazios, você pode alterar o comando para
find /path/to/dir -type d -empty -daystart -mtime +7 -exec rmdir {} \;
Isso só removerá o diretório se ele não corresponder aos critérios de tempo de modificação, além de estar vazio.