Você pode usar uma combinação inteligente de curingas para evitar . e .. :
rm -fr .??*
seria um deles, o que funciona se você não tiver arquivos ou diretórios com apenas 2 caracteres (como .x , por exemplo).
rm -fr .[!.]*
faz esse trabalho melhor.