Eu percebi isso! Foi o HealthAlertsSvc (Windows Server Health Service). Parece que o serviço de saúde na minha máquina Windows Home Server 2011 caiu, e isso revelou um bug no lado do cliente HealthAlertsSvc onde ele não liberaria as portas UDP corretamente.
Para verificar novamente, esse foi o caso. Desativei o serviço no lado do servidor e na minha área de trabalho. Assim que eu reativei o serviço na minha área de trabalho, o número de conexões UDP que foram deixadas abertas começou a crescer lentamente. Depois que reiniciei o serviço no servidor, um grande número de conexões UDP foi liberado imediatamente e a lista não cresceu mais em tamanho.