Eu fiz mais algumas investigações do porque o Xvfb estava falhando, e havia vários pânicos do kernel no servidor para vários processos diferentes.
Unable to handle kernel paging request at virtual address
Quando este pânico do kernel ocorreu no Xvfb, nós encontramos esta situação descrita na pergunta, onde o kernel tem a porta aberta e só podemos liberar reiniciando a máquina.
Enquanto investigava o pânico do kernel, encontrei este link:
Como o kernel que estávamos usando (2.6.16-xenU) agora está instável em instâncias do Amazon EC2:
Eu mudei o kernel que estávamos usando para 2.6.21.7-2.fc8xen-ec2-v1.0 e tudo parece estar bem agora.
Isso realmente não responde à pergunta sobre como liberar a porta aberta, mas acho que com esse problema do kernel, não foi possível liberar essa porta sem uma reinicialização.