Não me importo de digitar uma senha para o SSH. Para maior segurança, no entanto, eu recomendaria habilitar o ufw do Ubuntu Firewall, que está instalado, mas desabilitado no Jaunty por padrão. É fácil ativar e configurar:
sudo ufw enable
EDIT: Não faça isso primeiro se você estiver se conectando remotamente ou se trancará! É mais seguro ativar último quando tiver certeza de que todas as regras estão em vigor. Veja o comentário de Olaf abaixo.
Bloqueio padrão de tudo
sudo ufw default deny
Permitir TCP no prt 22 para SSH:
sudo ufw allow 22/tcp
Exclua esta regra (se necessário na estrada):
sudo ufw delete allow 22/tcp
Além da porta 22, você desejará permitir o tráfego para a porta 3306 para MySQL, 80 para o Apache e 20 & 21 por padrão para o ProFTPD.
Você também pode verificar suas regras com facilidade:
sudo ufw status
Por fim, você pode criar regras mais refinadas para hosts ou sub-redes específicos:
ufw allow proto tcp from 192.168.0.0/24 to 192.168.0.1 port 22
Depois de configurar, desabilitar e reativar o ufw para aplicar.