Eu não acho que você possa remover a parte de autenticação do SSH porque você sempre precisa de um nome de usuário para abrir uma sessão, mas pode definir uma senha em branco e definir PermitEmptyPasswords
como yes na configuração do sshd.
Mas isso não é realmente seguro, usando a autenticação de chaves é melhor.
Se você der uma chave pública aos seus clientes, isso significa que eles podem permitir que você se conecte ao servidor ssh, não ao seu.
Eu acho que você quer que os clientes se conectem ao seu servidor ssh. Nesse caso, os clientes precisam fornecer sua chave pública e permitir que eles se conectem. Se todos os clientes usassem a mesma chave pública para se conectar ao seu servidor ssh, isso significaria que todos os clientes usariam a mesma chave privada, e isso não é uma opção (não é sua função fornecer uma chave privada e uma chave privada não deve ser compartilhada )
Em relação à criptografia e snooping, a criptografia é feita com chaves de sessão e não com chave pública / privada, mas para trocar chaves de sessão, ssh use chave pública / privada.
Portanto, se todos os seus clientes usassem as mesmas chaves privadas, se eles espionassem uma sessão desde o início, eles poderiam descriptografar a sessão, se eles espionassem a sessão após a troca de chaves de sessão, seria muito difícil descriptografar a sessão.
Um bom artigo sobre como o ssh funciona link