Para drivers de impressão, adicionar drivers com arquiteturas diferentes não deve afetar o PC local. Os drivers extras são armazenados em cache, assim, quando um PC com uma arquitetura diferente se conecta ao servidor de impressão, há um driver disponível para ser usado.
Eu acho que o seu problema não está relacionado com os drivers extras que você adicionou, ele estaria relacionado ao driver de impressão de 32 bits que você instalou na máquina de 32 bits (não os extras), ou outro problema.
Você pode querer desinstalar todos os drivers de impressão e tentar novamente. Primeiro instale o driver de 32 bits e certifique-se de que não é o problema.
As instruções sobre como remover completamente os drivers de impressão estão disponíveis no artigo deste KB .