Se você tiver um processo de escuta em uma porta e você matar esse processo, ele não desvinculará imediatamente essa porta. Eu acho que o padrão na maioria dos sistemas Linux é uma espera de 5 minutos. Verifique a página man do socket (7) e procure por SO_REUSEADDR.