Acho que seria melhor ligar os dois NICs e atribuir um único IP ao vínculo.
A documentação do RedHat tem um bom guia sobre isso.
De acordo com suas necessidades, você provavelmente desejará mode = 1 (mas verifique se os outros modos podem não fazer algo "melhor" - por exemplo, duplicando sua taxa de transferência, a menos que uma NIC esteja inativa).
Se um vínculo não for uma solução aceitável, talvez você queira criar rotas estáticas com métricas para cada interface, de modo que uma seja a preferida em relação à outra (acho que você pode se safar com 'apenas' definindo um GATEWAY em cada arquivo ifcfg-PORT).
O NIC2 é acessível localmente porque é endereçado por seu endereço físico (MAC), não por seu IP. Quando você tentar contatá-lo remotamente, eu tenderia a pensar que você precisaria do encaminhamento de IP para ser ativado.
tl; dr : um vínculo simplificaria sua vida e criaria um servidor mais resiliente, mas se você realmente não quiser isso, provavelmente precisará de uma combinação de métricas / custos de rota e de ip_forwarding . Mas você não será capaz de evitar o tráfego da NIC2 passando pela NIC1 quando a NIC1 estiver ativa, pois ela tem a rota padrão preferida (ou seja, a menor métrica / custo).