Não, é exatamente por isso que as chaves SSH podem ser protegidas por uma senha, porque as proteções no nível do SO não são suficientes. Você deve ter a frase secreta da chave para usá-la.
Se eu configurar as chaves ssh para o login ssh (para o GitHub, por exemplo) de um servidor ao qual eu tenho acesso, sudoers podem usar minhas chaves ssh se eu gerá-las com uma senha (assumindo que elas não podem quebrar a senha )?
Não, é exatamente por isso que as chaves SSH podem ser protegidas por uma senha, porque as proteções no nível do SO não são suficientes. Você deve ter a frase secreta da chave para usá-la.