Pessoalmente, gostaria de segmentar minha rede doméstica para que o servidor seja separado do resto da rede - assim, se o servidor for violado, não será fácil atacar seus outros sistemas (isso é fácil se você usar algo como pfSense - não é tão fácil se você usa apenas um roteador consumidor. Pode ser um exagero - mas levo a segurança mais a sério do que outras.
Existem muitos guias de práticas recomendadas para proteger novos servidores, por isso não o atualizarei aqui, mas aproveite para ter certeza de que a configuração está correta. Certifique-se de instalar atualizações com freqüência, fique de olho nos logs para qualquer coisa estranha. Ferramentas como o fail2ban podem percorrer um longo caminho para impedir que invasores façam muito progresso, mas é apenas uma camada de proteção.
Certifique-se de limitar as portas expostas exatamente do que precisa e nada mais - quanto menos você expor, menor será o risco. Se você abrir o SSH, certifique-se de não permitir que o usuário root efetue login via SSH e considere usar alguma forma de autenticação de dois fatores .
Muitas pessoas não percebem o quão pouco a maioria dos hosts faz para proteger seu servidor - o sistema doméstico é mais seguro do que o que você está pagando agora.