Para um servidor voltado para o público, eu diria que instalar algo como o tripwire não é um exagero.
O ClamAV é um assunto diferente. Eu consideraria configurar isso se seus visitantes forem compartilhando arquivos enviando e baixando do seu site. Os PDFs podem conter explorações.
Em servidores voltados para o público, eu tenho SSH não permitir autenticação de senha, somente autenticação de chave pública. Se o SSH só é possível a partir de uma LAN interna, então você pode relaxar isso.
Sempre que possível coloco o servidor em um DMZ para que ele não possa originar conexões com outros computadores em suas LANs internas.