Se eu entendi corretamente, você precisaria de uma montagem de união.
Por exemplo, usando aufs
no server3:
mount -r server1:/A /B1
mount -r server2:/A /B2
mount -rt aufs br:/B1=ro:/B2=ro merge-of-B1-and-B2 /B
Se um arquivo existir em ambos / B1 e / B2, é aquele em / B1 que será exibido em / B.