A configuração "Gateway" na configuração IP está dizendo a cada máquina como chegar às redes às quais elas não estão conectadas e, caso contrário, não têm uma rota específica para.
Incluído neste conjunto de redes é a Internet. Você não está diretamente conectado a todas as redes na Internet e não possui rotas específicas para todas as redes na Internet. Portanto, o seu PC acessa essas redes enviando esses pacotes para o endereço do gateway, e o gateway deve saber para onde enviá-los.
No seu caso, você tem dois gateways definidos - um levando à internet através do seu modem a cabo, e outro levando ao seu segundo PC. Deixando de fora qualquer método para encontrar um caminho ideal para a Internet, seu PC com duas placas de rede irá escolher aleatoriamente um desses gateways para enviar cada pacote.
Metade seria enviada para a internet com sucesso. A outra metade seria enviada para o outro PC que não tem idéia do que fazer com eles, então envia de volta. O primeiro PC irá enviá-los (aleatoriamente) para o gateway da Internet, ou enviá-los de volta para o segundo PC novamente, até que os pacotes tenham pulado para frente e para trás muitas vezes e sejam descartados.
A solução é simples, remova a entrada do gateway na placa de rede 192.168.2.1.
A razão pela qual ele funciona quando o outro PC está desligado é que o sistema operacional irá desconsiderar um gateway que não está lá - como ele não consegue enviar pacotes para o segundo PC quando está desligado, ele decide que o gateway está quebrado e usa o modem a cabo para tudo.