Essa pergunta está preocupada com chaves privadas armazenadas no servidor não criptografadas. É um cenário como:
workstation 1 ---> gateway -> final server
⋮ |
workstation n ------/
e o OP está preocupado com as chaves privadas no "gateway", que é uma máquina compartilhada com vários usuários.
Não é possível roubar a chave privada comprometendo o servidor, apenas a máquina na qual a chave está realmente armazenada. Se você usar o encaminhamento do agente ssh, é possível usar a chave sem roubá-la (para efetuar login em outra máquina, por exemplo), se você não tiver o prompt ssh-agent primeiro.
Mas você ainda deve criptografar suas chaves privadas, caso sua estação de trabalho esteja comprometida. Ou, especialmente no caso de um laptop, perdido ou roubado.