Desde que seu sistema CentOS esteja atualizado sobre patches, ou seja, você não tem uma versão bastante antiga do sshd em execução no sistema, você deve estar bem. No que diz respeito ao seu comentário que "não há uma horda de pessoas apenas com vontade de entrar na minha rede", se você verifique as tentativas de conexão na porta 22 você pode se surpreender. Se você executar o SSH na porta padrão de 22, você deve esperar que todos os dias haja pessoas em todo o mundo tentando obter acesso ao seu sistema via SSH. Eu também tenho um servidor home do CentOS e vejo milhares de tentativas todos os dias; cerca de 14.000 tentativas de 109 endereços IP exclusivos nas últimas 12 horas. Quando eu verifico / var / log / secure, a maioria das tentativas são geralmente para um userid de root ou admin, apesar de eu ver tentativas de logins SSH para muitos outros userids também.
Quando eu também rodava um servidor FTP no sistema, eu monitorava os userids e as senhas usadas via KRIPP e pode-se ver ataques de dicionário todos os dias em que dicionários de nomes foram usados para userids e emparelhados com dicionários de inglês e comumente senhas usadas para senhas. Aqueles ocorriam diariamente e eu observava meia dúzia de sistemas em várias partes do mundo, por exemplo, Brasil, China, EUA, etc., conduzindo tais ataques de uma só vez.
Você não está permitindo o login de senhas, então não precisa se preocupar com qualquer conta no sistema que tenha uma senha fraca fornecer um ponto de entrada para o sistema para um invasor, mas você ainda deve estar ciente de que existem milhares de sistemas na Internet, varrendo vastos intervalos de IP em busca de um sistema vulnerável. Às vezes, eles estão procurando por um sistema com informações financeiras ou outras que possam explorar e outras vezes é para sistemas vulneráveis que podem ser usados como plataforma de lançamento para atacar outros sistemas, ocultando o verdadeiro ponto de origem para quaisquer atos nefastos que o invasor tenha planejado.