Eu uso Keepass para isso. Ao trabalhar em um datacenter, o gerenciamento pode querer que você imprima as senhas principais e coloque-as em um local seguro. Faça regras sobre onde você guarda este banco de dados keepass, quem tem cópias, quem tem acesso, como fazer backup etc.