Como observado em alguns comentários, ssh_config é para configuração de cliente (padrão), mas a configuração do servidor é feita em sshd_config , normalmente em /etc/ssh na maioria dos sistemas * NIX, mas é /etc/sshd_config no caso de MacOS X e talvez outros sistemas.
Quanto à desativação da autenticação de senha, veja a opção PasswordAuthentication e defina-a como no ; o padrão é normalmente yes . Veja também outras opções, incluindo PermitRootLogin , que, IMO, deve ser definido como no (ou pelo menos without-password ) e UsePAM , que também podem afetar a autenticação baseada em senha.