Sua suspeita está correta, a Ethernet full-duplex não tem colisões, então sempre tem acesso imediato e exclusivo ao meio, então seu tempo de latência é apenas o tempo que leva para transmitir o quadro (por exemplo, 1522 Byte max frame comprimento / 1 Gbps ≈ 12µs de tempo de transmissão do quadro).
Observe também que, como o Gigabit Ethernet não permite hubs, e os antigos hubs de 10 ou 100-mbit são quase inexistentes atualmente (todo mundo tem switches, até mesmo pequenas caixas de 5 e 8 portas são geralmente switches), praticamente toda a Ethernet é full-duplex hoje em dia.