My understanding is that the GPO of Domain can only be applied to objects within its own domain.
Seu entendimento é perfeito - não existe um GPO entre domínios
Could a security group of Domain A be added to a GPO created within Domain B to be added to the local admin group of computers within Domain B?
Sim!
Certamente. Se você usar as configurações de preferência de diretiva de grupo Usuários e Grupos Locais, especifique um nome de Grupo Local (por exemplo, Administradores) e adicione uma lista explícita de membros. Esses membros podem vir de qualquer lugar dentro de sua própria floresta, mas você também pode escolher entidades de segurança de outros domínios que você confia!
Basta alterar o "local" no seletor de objetos: