Se ambas as interfaces internas estiverem configuradas, provavelmente as rotas corretas já estão configuradas. Você ainda precisa permitir que a rede X3 e X4 conversem entre si nas configurações do firewall.
Você pode adicionar sua tabela de roteamento atual?
As decisões de roteamento são feitas com base em onde a rota mais específica é para um destino específico. Se um roteador tiver uma interface que já esteja na rede de destino, não se incomodará em pedir seu próprio gateway padrão.