Use find para contar todos os diretórios em uma árvore a partir do diretório atual:
find . -mindepth 1 -type d | wc -l
Note que -mindepth é necessário para excluir o diretório atual da contagem.
Você também pode limitar a profundidade da pesquisa com a opção -maxdepth da seguinte forma:
find . -mindepth 1 -maxdepth 1 -type d | wc -l
Mais find opções estão disponíveis. Você pode verificar a página do manual para isso,