Na minha experiência, quando o wifi está envolvido, o gargalo é geralmente a conexão wifi.
Você pode tentar instalar o "radar wifi", pesquisar "radar" no synaptic, para ver quais canais são os mais silenciosos e configurar seu roteador para usar um deles.