Em primeiro lugar, bem feito para começar a usar as chaves. Muitos iniciantes geralmente tentam evitá-los, já que eles parecem complicados no começo. Em resposta à sua pergunta, acho que você pode:
A) gera uma nova chave em cada máquina da qual você trabalha (isto tem uma vantagem que se uma estação de trabalho for comprometida você pode revogar apenas sua chave, não afetando nenhuma das outras). p>
ou
B) considere a primeira chave onde quer que você vá (por exemplo, em um pendrive), mas corre o risco de perder todo o seu acesso caso perca o pendrive.
Eu variei minha escolha ao longo do tempo, dependendo de alguns fatores, como a praticidade de carregar uma chave com você, como as máquinas que você precisa fazer login, de quantas máquinas você precisa fazer o login, etc.
Mas, no final, as opções são bastante flexíveis, pois normalmente você está falando apenas de uma linha ou duas de texto que precisa estar no lugar certo no servidor certo.