Quando os dois RPi se comunicam entre si, o ponto de acesso precisa encaminhar os pacotes de um para o outro. Esta é a funcionalidade interna da função de ponto de acesso e não tem nada a ver com o fato de que apresenta uma interface de rede para o sistema operacional para pacotes enviados e recebidos localmente.
Você impôs um atraso na interface de rede local, não nos internos da função de ponto de acesso.