Eu assumo que o nome dos diretórios é também o registro de data e hora de sua criação. Se é assim, então você pode usar ls para listar os arquivos de acordo com a hora da modificação dos diretórios.
Isso listará os diretórios na ordem de primeiro mais recente
cd /PATH/TO/PARENT-DIRECTORY/
ls -lt
Para excluir todos os diretórios, exceto os 2 arquivos mais recentes: -
cd /PATH/TO/PARENT-DIRECTORY/
ls -lt | tail -n +4 | awk '{print $9}' | xargs rm -r
Observação: Primeiro, experimente em um ambiente de teste e confirme se isso é exatamente o que você deseja executar também se esse script funcionar com seu conjunto de diretórios.