Em sua pergunta, os termos não são claros, o que você quer dizer com
"Espero alcançar meu dispositivo na porta A com .160 e na porta B com .161. Mas, na verdade, chego ao meu dispositivo na porta A com ambos .160 e .161, e nenhum na porta B. "
Se isso ficar claro, poderemos fornecer a você exatamente como proceder.
Por favor, dê uma olhada no roteamento baseado em políticas no linux. Pode estar abaixo pode ajudá-lo: link - link
Como você disse, você já tentou com gateway único na interface ativa, então isso deve funcionar. Problema aqui é com rede, que é o mesmo para ambas as interfaces. Pode tentar com este exemplo:
ifconfig eth0 192.168.1.161/24 up
route add default gw 192.168.1.1 dev eth0
ifconfig eth1 192.168.1.162/24 up
E teste com ifconfig down eth0 e eth1 um por um
também pode conectar lan na interface e tentar com ping ou ssh.