Você precisaria ter as duas máquinas na mesma rede local (LAN). Depois disso, você pode definir um como o gateway padrão do outro. Ou você pode simplesmente conectar as duas máquinas à sua LAN e usar o dispositivo de rede central como gateway para ambos.
Mas para criar uma LAN, provavelmente não será suficiente apenas colocar um cabo entre eles. Você precisaria de algum dispositivo de rede que roteia e organiza o tráfego de dados, algo como um switch, um hub ou um roteador. Muitos ISPs oferecem dispositivos de rede (principalmente roteador all-in-one) por padrão.