Uma abordagem simples de primeiro nível é usar lsof -i @remotehostname (ou o endereço IP remoto) para ver qual usuário e processo estão iniciando as conexões com o host remoto.
Com relação à interpretação de tcpdump output, ainda acho muito mais fácil usar algo como Wireshark para ajudar a interpretar um TCP capturado corrente. Também ajuda a gerar a sintaxe a ser usada no tcpdump para tornar suas capturas mais específicas.