Vou jogar algumas possibilidades:
- você está usando um antigo WAP terrivelmente pouco eficiente, com hardware sem fio de baixa qualidade. (Isso não é realmente uma "possibilidade". É um fato.)
- o espectro de 2,4 GHz na sua área é muito barulhento
Atualize para algum hardware Wi-Fi moderno e você provavelmente verá um aumento significativo no desempenho.
Dito isto, o wifi tem nunca sido sobre desempenho - é sobre conveniência. Se você quer desempenho garantido, um cabo rígido não pode ser batido.