Depende de qual shell você está usando. Com zsh , o seguinte fará o truque:
ls -dl *(^A)
ls -dl imprime uma lista longa ( l ) sem pesquisar nos diretórios ( d ). A parte mais interessante é a parte globbing, em que A selecionaria apenas objetos legíveis por grupo, combinados com uma inversão ^ , isso é o que você deseja.