Se for um servidor da empresa, então sim, você deve ter um antivírus. Se você não o fizer e ficar infectado, você receberá suas bolas ou será demitido. Nem é bom.
Em casa, você pode ter mais chances. no entanto, se você tiver máquinas com Windows, os compartilhamentos de samba do Linux podem agir como um refúgio seguro para o vírus e continuar reinfectando suas máquinas com Windows.
Embora seja muito raro encontrar um vírus ou worm do Linux, mas eles aparecem de tempos em tempos. Ter uma porta SSH disponível na Internet é um grande risco bem conhecido, pode haver outros métodos comuns de ataque para servidores domésticos Linux.