O aplicativo da Web (ou, talvez, apenas o servidor da Web) abrirá os arquivos, passando por ssh, e copiando-os para o destinatário final, mais do que triplicando a quantidade total de trabalho: cada bloco do arquivo sendo lido , criptografado, descriptografado e, em seguida, (assumindo o TLS) criptografado novamente. (É claro que o arquivo pode estar em cache em algum lugar desse pipeline se for acessado com frequência.)
Se você quiser veicular os arquivos do segundo host, a execução de um servidor da Web e o envio de um redirecionamento HTTP 307 (ou semelhante) terá esse efeito, mas, no seu cenário, não há fluxo de rede entre o usuário final e o segundo hospedeiro de todo.