Atrasos de cerca de 5 segundos sempre cheiram a DNS. Como esse é o período de tempo limite padrão da maioria dos resolvedores.
De acordo com os conselhos em esta pergunta , tente testar o servidor com skip_name_resolve
set e garantir que os clientes possam resolver corretamente o endereço do servidor se você estiver usando nomes de host. Se o problema resolver sozinho (desculpe o trocadilho), passe para a garantia de que o DNS esteja configurado corretamente em ambas as direções.