Isso não pode ser feito com ls (pelo menos, até onde eu sei), mas você pode encontrar diretórios vazios usando find :
find . -type d -empty
Se a profundidade é importante para você, com o GNU find :
find . -maxdepth 1 -type d -empty