A referência definitiva absoluta são os Manuais do desenvolvedor de software de arquiteturas Intel 64 e IA-32 , eles são um ótimo recurso para entender a arquitetura x86 do ponto de vista de um programador (supondo que você já esteja confortável com a montagem).
Eu recomendaria que você baixasse os volumes combinados de 1 a 3C (primeiro link de download nessa página). O Volume 1 é uma excelente visão geral da arquitetura x86 (-64) da Intel, incluindo vários detalhes sobre profundidade de tubulações, tamanhos de registro e componentes disponíveis em seus processadores. Se você precisar consultar como instruções específicas funcionam, consulte o vol. 2, cap. 3-4 (Acredito que a codificação de instruções binárias é abordada mais tarde nesse volume também).
Para saber como o montador funciona, tudo depende do qual assembler você está usando em primeiro lugar. Você pode facilmente encontrar os detalhes do montador para NASM / GAS em seus respectivos sites, e há muitos recursos para o MASM (32). No entanto, isso é tudo independente de como a CPU funciona, então acredito que o que você está pedindo deve ser coberto inteiramente pela documentação da Intel ligada acima.