Depois de mais algumas pesquisas, descobri que você pode configurar suas ferramentas de linha de comando para usar credenciais diferentes. esta página tem mais informações sobre isso.
Ao executar comandos, o aws procura suas credenciais em alguns lugares diferentes, o que permite ao usuário configurar diferentes contas aws