Como eu me conecto aos meus servidores baseados em Linux?
O SSH é a maneira padrão de gerenciar servidores baseados em Linux.
Existe algo semelhante ao Remote Desktop?
Sim, o NX (freeNX ou Nomachine NX) funciona em SSH, é muito comum em ambientes corporativos. Você também pode usar o VNC ou o Citrix, e o RDP também é possível.
Preciso usar comandos Linux diretos na linha de comando?
A administração do servidor é normalmente executada via CLI, embora haja soluções de gerenciamento baseadas na web e GUI (webmin, ajenti etc).
Por fim, obviamente, precisarei carregar meus arquivos da web no meu servidor da web
O SCP é seu amigo, se você gerencia seu servidor baseado em Linux a partir de um ambiente Windows, WinSCP tem uma boa interface gráfica, ou você pode usar o pscp.
Eu preciso criar um serviço baseado em REST que funcione no meu servidor de banco de dados, eu sei que esta é uma questão muito, muito ampla, mas onde eu começaria com isso?
Na verdade, é uma questão muito ampla: que tal ler um livro como "RESTful Java Web Services"?
O TUDO é controlado pelo Linux a partir do prompt de comando?
Não TUDO, muitos roteadores comerciais baseados em Linux têm apenas UI da Web, por exemplo.