Se você está apenas procurando por acesso ao sistema de arquivos, você pode usar algo como o Midnight Commander, que você deve ser capaz de instalar via yum ou apt, dependendo de qual distro você estiver usando.
Se você está procurando por mais funcionalidades - como configurar o servidor, criar contas, trabalhar com o firewall, etc, você pode procurar algo como o Webmin.
Por fim, se você quer um desktop remoto completo, você pode instalar um ambiente de desktop no seu servidor (KDE, Gnome, etc) e então conectar-se remotamente usando algo como NoMachine.
Espero que um deles resolva sua pergunta.