Sim, é possível se infectar de qualquer serviço que tenha vulnerabilidades, independentemente de qual porta ou serviço é.
No seu caso, o Ubuntu 11.04 atingiu o final da vida (EOL) 28 de outubro de 2012. A menos que você tenha boas rotinas para atualizar ou detectar e corrigir vulnerabilidades, eu recomendo strongmente manter as versões do Ubuntu LTS para servidores em ambiente de produção. . O Ubuntu 12.04.3 LTS (suporte de longo prazo) seria uma escolha razoável, pois será suportado com atualizações de segurança para abril de 2017.
Existem muitos guias sobre Como proteger servidores Ubuntu, pesquisar na internet e tentar filtrar o que seria melhor para seus serviços.
Se você decidir ficar com o Ubuntu 12.04 LTS, sugiro dar uma olhada no guia do servidor. Ele também tem uma parte de segurança. Fail2ban pode ser do seu interesse. Mas talvez seja mais importante obter as atualizações de segurança automatizadas em andamento.