I can understand Hex but the problem is i don't know the character-encoding scheme it is following.
Talvez não esteja usando qualquer esquema de codificação de caracteres; talvez esteja codificando coisas como números binários, não caracteres de texto.
Se você conhece o protocolo, pode escrever um dissector para o Wireshark (ou dar informações sobre o protocolo a alguém que possa escrever um dissecador) e usar o Wireshark + para dissecar o tráfego.
Se você não conhece o protocolo, você terá que fazer engenharia reversa, o que é muito trabalho, e pode envolver a análise de dados binários em vez de texto simples.