Se você NÃO colocar a senha em sua Chave Privada SSH, qualquer pessoa que conseguir copiá-la poderá usá-la. Se isso é considerado seguro (suficiente) ou não, é com você.
Se você colocar a senha em sua Chave Privada SSH - então, se alguém conseguir copiar a chave, ela precisará da senha / senha antes de poder usá-la. Considere isso como uma autenticação de 2 fatores - você precisa tanto da Chave SSH Privada E da sua Senha / Frase-senha - antes que ela seja utilizável.
Pessoalmente, acredito que colocar senha / senha em chave SSH seja mais seguro, mas depende de como você define a segurança ou o que você acredita ser seguro.