Você mesmo respondeu à sua pergunta - por que instalar o openssh-server se você nunca quiser usar o SSH nessa máquina - você tornaria seu sistema menos seguro sem nenhum motivo.
Eu instalei o openssh-server em dois PCs. Eu posso conectar de um para outro. Portanto, se openssh-server enviar e receber ssh, por que você instalaria o openssh-client , apenas para garantir que ninguém de outro computador na rede possa fazer login no seu computador?
Tags ssh networking openssh linux ubuntu