Excelente pergunta.
Editores de texto não abrem arquivos e mostram binário. Eles geralmente lêem arquivos com codificação ASCII ou Unicode.
Veja alguns exemplos de como a codificação ASCII funciona:
link
Basicamente, o modo como funciona é, lê o primeiro número de bytes e, em seguida, interpreta essa coleção de bits como um determinado caractere, que é o que você está vendo na tela.
No entanto, se você quiser mostrar binário (ou hexadecimal) no Vim, você pode, fazendo algo assim: