Acho que a melhor maneira de entender a comunicação serial é com um software especial (como você estava planejando). Você precisa cheirar e monitorar a porta serial? E com o suporte do windows 7 x64.
Em seguida, experimente este soft - Elima Serial Port Monitor: link
Ele pode analisar e monitorar toda a atividade da porta serial em um sistema. Além disso, com a porta serial sniffing.