Sim, isso pode ser feito configurando uma função de várias contas e um perfil de CLI para ela, que é documentado pela AWS aqui:
Como usar um único usuário IAM para acessar facilmente todas as suas contas usando o AWS CLI
A única ressalva é que não consigo fazer com que essa abordagem funcione usando privilégios de função de instância:
Como executar aws ec2 describe-instances para conta diferente