O que você está tentando realizar é factível através do uso de mod_proxy , que é não comumente habilitado para ambientes de hospedagem compartilhada por causa dos problemas de segurança bastante significativos que podem permitir, se não forem bloqueados corretamente. Se você não fizer certo, você fornecerá um proxy aberto para pessoas nefastas para navegar na internet usando o endereço IP do servidor.
Se você tiver acesso completo ao servidor da Web, poderá ativar o mod_proxy. Isso usa mod_rewrite para configurar o proxy correto:
RewriteRule ^/SiteAtServerB/(.*) http://serverb/site/$1 [P,L]
Quanto mais preciso de um regex você puder fornecer, mais protegido você estará de negócios nefastos.
Isso fará exatamente o que você está procurando. O ServerB verá um pedido vindo do endereço IP do ServerA (um deles, de qualquer forma), os clientes verão apenas um URL que não muda.