O tráfego SSH / SCP será praticamente impermeável ao snooping (presumindo que você valide impressões digitais do servidor na primeira vez que estiver se conectando para evitar manobras do tipo man-in-the-middle).
Do ponto de vista de um atacante, ele se parece um pouco com esse quadrinho do XKCD:
Basicamente, um invasor achará mais útil comprometer os pontos finais (talvez batendo em você com uma chave inglesa de US $ 5) do que tentar espionar o tráfego em si.