Você realmente não perde nenhuma funcionalidade se estiver executando uma máquina de desktop comum. Os gerentes de exibição podem ser usados para fazer coisas como fazer logins remotos em terminais X. Certamente, eles também fornecem funções de conveniência, como dar a você uma lista de usuários para selecionar quando fizer o login. Eles também permitem que você selecione diferentes gerenciadores de janelas facilmente.
Sou um grande fã de manter as coisas simples e usar o startx. Você não perde nenhuma funcionalidade importante.