Meu erro foi um erro lógico com -mtime . Eu pensei que meu script estava verificando os nomes, mas -mtime verifica a data em que o arquivo foi criado.
Então meu código final:
DAYS_TO_KEEP=2
find $BACKUP_DIR -maxdepth 1 -mtime +"$DAYS_TO_KEEP" -exec rm -rf {} \;
Acabei de fazer um sudo touch -d "3 days ago" /filepath/folderToRemove para fazer -mname encontrar a pasta e para garantir que o arquivo tenha idade suficiente para ser removido.
Então, este código final remove todas as pastas que são mais antigas que minha variável $DAYS_TO_KEEP