Para o lado do hardware, tudo o que você precisa fazer é conectar a porta da internet (a porta marcada amarela) à porta da parede. Se a configuração da internet ainda estiver em seu padrão (tipo de conexão de internet: configuração automática do DHCP), tudo deve funcionar como quiser.
Verifique se o roteador usa a mesma sub-rede que a rede doméstica, se necessário, você terá que alterar a sub-rede do roteador.
Desde que você não conecte as portas LAN à porta de parede, você não prejudicará toda a rede da casa.