Tente isto:
find * -name 'main?-*.x' | xargs echo rm -rf
O texto acima mostra um comando que remove os diretórios indesejados ( sem , na verdade, removendo-os). Se parece OK, basta executar o comando impresso ou executar
find * -name 'main?-*.x' | xargs rm -rf