Normalmente, os servidores são configurados para armazenar e exibir páginas, a máquina de desenvolvimento está na mão do desenvolvedor e sincroniza o aplicativo da web usando um protocolo como SFTP, FTP ou WebDav.
Se você tiver uma área de trabalho xserver em sua máquina, recomendo que o Gedit possa ser configurado para ser um ótimo editor de texto para desenvolvimento na web. (Algumas dicas aqui )
Para o uso não-GUI (ou seja, acesso ssh), há o vim, que é amplamente utilizado, e o nano, que é muito simples.