Eu não acho que haja um gerenciador de arquivos que faria o que você quer se você não contar aplicativos como o Midnight Commander, que pode ser configurado para mostrar o conteúdo de qualquer arquivo em um painel lateral. A partir do que você descreve, você deseja que o arquivo leia-me no diretório atual seja exibido, independentemente do arquivo nesse diretório estar ativo no momento. Além disso, se você estiver falando do GitHub, provavelmente também quer dizer arquivos Markdown. No entanto, os gerenciadores de arquivos do Ubuntu e do Kubuntu podem ser estendidos com plugins. Por exemplo, para o Nautilus, confira link
Você poderia escrever um plugin python que faria o que você quisesse. Você poderia imaginar usar um dos analisadores de marcação existentes no processo também.