Se você tiver firewalls instalados atrás de cada DSL Modem e eles suportarem uma rede DMZ, você poderá colocar os dois firewalls na mesma DMZ, colocar rotas estáticas para as lans privadas em cada firewall e configurar regras específicas para permitir o tráfego entre as duas LANs.
O princípio básico é genérico, mas como fazê-lo será completamente dependente do que você está usando para firewalls.
Por exemplo:
Lan 1: 192.168.0.X
Lan 2: 192.168.1.X
Impressora de rede: 192.168.0.50
Firewall de interface DMZ 1: 192.168.2.1
Firewall de Interface DMZ 2: 192.168.2.2
Definir rota no firewall 1: 192.168.1.0/255.255.255.0 gateway 192.168.2.2
Definir rota no firewall 2: 192.168.0.0/255.255.255.0 gateway 192.168.2.1
A maneira como as regras são definidas dependerá do firewall, mas você gostaria de algo no Firewall 1 dizendo que o DMZ / Lan2 tem permissão para falar com 192.168.0.50.
Em relação ao IPCop:
Como você está usando um firewall baseado em PC, provavelmente agora você tem apenas as NICs agora, a Vermelha (Internet) e a Verde (LAN). Você precisa adicionar uma terceira NIC a cada caixa de firewall e configurá-la como a interface laranja (DMZ).
Não usei o IPCop antes, mas usei outros firewalls baseados em PC Linux e a rápida olhada na documentação do IPCop parece que você deve fazer o que foi descrito acima.
Quanto ao link físico, você pode usar um patch cable cruzado entre as duas interfaces DMZ do firewall, já que você só está colocando os dois dispositivos na rede DMZ ou pode conectá-los usando um terceiro switch de rede se quiser outros dispositivos na DMZ.
Você poderia realmente colocar a impressora na rede DMZ, se assim o desejasse, tornaria as rotas mais simples, pois ambos os firewalls saberiam naturalmente como encontrar a rede DMZ. Com a impressora dentro de uma das LANs privadas, você precisa dizer ao firewall para falar com o outro para chegar a essa rede privada.