Porque o protocolo de conexão ad-hoc é mais simples que a conexão de ponto de acesso (via roteador). No caso ad-hoc, você tem apenas duas entidades que conversam entre si, enquanto no caso do ponto de acesso pode haver muitas entidades e o protocolo tem mais sobrecarga para poder lidar com isso. Essa sobrecarga ainda está presente, mesmo se apenas dois computadores se conectarem.
Outro motivo é que a transferência de arquivos geralmente é feita via protocolo TCP - a outra parte deve enviar uma resposta para confirmar que os dados foram entregues. Portanto, os dados precisam viajar para a outra parte e voltar para o roteador, em vez de diretamente.
A Internet não tem nada a ver com a transferência de arquivos, a menos que seja mais uma parte conectada sem fio ao roteador e também exija tempo no ar.