Se você quiser fazer certo, você deve aprender a usar e amar o terminal. Não sei o quão bem você sabe disso agora, mas o terminal bash é uma ótima coisa para se conhecer, e tem muitos recursos (digite man bash
e veja se consegue descobrir, se você não sabe agora. A curva de aprendizado é um pouco íngreme, mas uma vez que você aprende, você pode administrar seu servidor facilmente de qualquer lugar).
Existe boa documentação no site do Ubuntu para configurar um servidor.
Você deve instalar o servidor OpenSSH (sshd) e o cliente OpenSSH em sua área de trabalho. É tudo o que você precisa para acessar o servidor e fazer tudo o que precisa, como se fosse local. Você pode executar programas no servidor, mas exibi-lo no cliente. Você não precisa da Putty ou de qualquer outro software para fazer isso.
Normalmente, você instalaria um banco de dados no servidor, como o SQL Server, que pode ser acessado pelo servidor da Web, como o Apache. Os usuários criam contas no site e são armazenadas no banco de dados. Você pode instalar e administrar tudo isso usando ssh.
Quanto ao que fazer depois disso, o guia do Ubuntu será bom, mas você não precisa instalar tudo. Comece com o ssh, depois o servidor web, o servidor de banco de dados, o PHP e possivelmente o phpMyAdmin, mas isso depende do que você fará com o site.
O servidor LAMP tradicional é Linux, Apache, MySQL e PHP. Isso é o que você normalmente obtém com um site hospedado (pelo menos não no Windows).
Você pode querer passar por um tutorial sobre a criação de sites, caso não saiba o que está fazendo. Há alguns bons tutoriais práticos, embora eu tenha que verificar quais ainda estão por aí, já que faz alguns anos que eu não faço nenhum site. Mas eu me ensinei em um curto período de tempo e consegui empregos configurando e programando um monte de sites para empresas locais.
EDIT: By the way, eu pessoalmente aconselho contra a instalação do LAMP como uma instalação. Não é realmente difícil configurá-lo individualmente, e adicionar um nível de indireção a mim apenas complica as coisas. Se algo der errado, é mais difícil descobrir o que é. E quando você precisa modificar algo, pode ser mais complicado, ou até mesmo impossível, sem aprender como a pilha funciona primeiro.