Isso deve funcionar, se eu entendi corretamente, você quer apenas as linhas que começam com ATOM .
sort -k11 <(awk '$1 ~ /ATOM/' file)
Explicação:
-
sort -k11: classificar pelo 11º campo -
awk '$1 ~ /ATOM/' file: imprime apenas os campos que começam comATOM - A parte
awké a entrada para a partesort