Resposta curta: sim.
O motivo é porque, em vez de fazer o tunelamento diretamente do computador A para o computador D, você está passando por B e C também. Cada computador tem sua própria latência e serviço em execução, que devem executar os processos adequados para descriptografar o tráfego de entrada de uma extremidade e criptografar novamente o tráfego que sai pela outra extremidade.
Quanto vai diminuir a velocidade depende da velocidade e da conexão de cada computador na cadeia, mas se não for possível usar o SSH do computador A ao computador D sem antes passar por B e C, esse é o preço que você deve pagar a menos que você olhe para reestruturar sua rede de alguma forma.