Por experiência, eu diria que existem vários fatores limitantes na configuração descrita. Por um lado, se você estiver usando o Apache2 e o MySQL e , não espere sair com um GiB de RAM e sem lentidão. Eu recomendo strongmente que você analise nginx ou lighttpd como alternativas se sua configuração tiver esses limites de recursos.
Ainda mais, você não nos disse nada sobre a configuração, como IPv4 e IPv6 ou possíveis regras de firewall.
Por último, mas não menos importante, em aplicativos pesados da web, como o WordPress, eu recomendaria ter algum tipo de cache (seja nginx ou varnish ) se você estiver procurando velocidade.
Mas, honestamente, sua configuração parece estar tentando um método de conexão, por exemplo, IPv4 e expira com isso e, em seguida, tenta o outro. Meu palpite é que o IPv6 ainda está ativado e você não o configurou corretamente. Neste caso, você pode querer dizer ao kernel para desligá-lo ou usar um dos outros métodos descritos aqui .
Por favor poste a saída dos seguintes comandos (como superusuário) se você espera uma resposta mais detalhada:
free -m
iptables-save
lsof -Pi|grep :80