Depende da aplicação. Por exemplo, o kernel do Linux implementou a randomização da porta de origem UDP quando nenhuma porta de origem é especificada no kernel 2.6.24 .
Assim, o comportamento que você está vendo em algumas conexões deve ser o aplicativo específico, especificando a porta de origem como a porta de destino, enquanto outras estão deixando-a para o kernel.