Allow root logins
Use same password for all the servers
Use default ssh port 22
Alterar cada um dos itens acima é uma estratégia de mitigação de risco. Mudar todas essas coisas não faz você seguro. Deixar não é perigoso por natureza de si mesmo. Isso aumenta o risco, mas você pode apreciar mais a conveniência do que o risco.
Para trocas TCP completas, como é requerido com o SSH, controlar o intervalo de acesso IP é razoavelmente efetivo contra qualquer pessoa que não faça parte de sua rede (mesma ramificação da camada 2 ou controlando roteamento upstream).
Você corre o risco de um comprometimento de servidor expor a senha para todos, mas você limitou onde é possível usar a senha.
... mas se a conveniência vale a pena, você se sente bem, e estes não estão sujeitos a manter dados importantes de outra pessoa, vá em frente. Basta saber por que alguém faria essas mudanças e o que você está desistindo pela conveniência.