A introdução de um roteador adicionará um atraso, mas o atraso será insignificante.
Se o roteador reduzir as velocidades para um nível inaceitável, isso dependerá do roteador em questão e de suas necessidades.
Você mesmo deve testar as duas configurações e determinar se a conveniência de um roteador supera a possível velocidade que ele introduz entre as máquinas.
Talvez confira essas outras perguntas / respostas para algumas ideias sobre como testar isso: