Estou assumindo que você está cheirando pacotes ...
Se você tem todos os pacotes desde o início da conexão, você deve ser capaz de ver desde os primeiros pacotes que tipo de protocolo de camada superior está sendo usado (ssh / https / sftp).
Se for um fluxo de dados criptografados com TLS simples, você poderá ver o handshake de TLS em que o cliente e o servidor concordam sobre qual protocolo usar e trocar chaves públicas para uso na criptografia ... A partir daí você sabe que ele é criptografado por SSL ou alguns outros dados.
Normalmente, o seu sniffer de pacotes, como o wireshark, pode decodificar essas mensagens iniciais, mas obviamente não o conteúdo criptografado ...