Tempos de espera como esse podem ser um sinal de que você está sendo greylisted. É uma maneira que alguns sistemas antispam usam para retardar spammers, vinculando suas conexões de saída em um tempo limite de conexão. Você deve verificar se o endereço IP de origem está aparecendo em qualquer RBL. Descobrir se você está em alguma das listas particulares pode ser muito mais complicado.