Eu não estou familiarizado com os programas que você mencionou, embora eu ache que entendi a configuração. Eu provavelmente depuraria isso vendo se as teclas digitadas chegam ao script AHK ou não e qual script está interceptando-as.
Duas ferramentas fáceis que eu posso começar com ...
1) Coloque um til na frente da definição da tecla de atalho que permite que o toque de tecla passe. Substitua o código por uma dica simples para mostrar o que está sendo executado. Veja quais as teclas que passam e quais são bloqueadas. Veja se adicionar o til em ambos os sistemas permite que os pressionamentos de tecla passem para o sistema que não está sendo executado de outra forma.
2) Abra as janelas de script em A e B e vá para o log de pressionamento de tecla de cada. Envie as chaves que não parecem estar funcionando e veja se elas estão indo para o script de interesse (presumivelmente, elas não são).
O indeterminismo que você mencionou é interessante. Na Área de Trabalho Remota e no VNC, onde você tem o sistema A interceptando as teclas digitadas, você está tentando acessar o Sistema B, ou possivelmente o contrário, o comportamento é bastante determinístico ou pode ser alterado nas configurações do software para quais chaves são permitidas para passar para o host remoto e quais não são.
Se você encontrar algo que não funcione corretamente, mas que seja pelo menos determinista, há outras maneiras de contornar isso se suas duas caixas puderem se comunicar, ou verificar onde está a posição do mouse, por exemplo, e não execute se estiver na borda ou após a borda em um monitor, por exemplo.