O arquivo ~/.ssh/config
é para configuração do SSH cliente . Você não pode desativar o daemon SSH de aceitar logins de senha deste arquivo. Por outro lado, não consigo pensar em nenhuma maneira de fazer isso em um ambiente compartilhado onde você não tem acesso à configuração do daemon.
Como agora você está usando a autenticação baseada em chave, por que não definir a senha para algo razoavelmente impossível como força bruta?