É uma prática de segurança ruim usar a mesma senha (assumir strong, diceware-esque) para suas chaves ssh e sua senha mestra do gerenciador de senhas?
Como é frequentemente o caso, o XKCD já cobriu este tópico:
( Fonte )
Tags ssh-keys password-management