Traceroute (modo clássico) funciona enviando pacotes UDP para uma porta UDP alta, teoricamente não usada, alterando o tempo de vida (TTL) de cada pacote para que os roteadores notem que o tempo expirou e retorne o tempo ICMP excedido mensagens. O Traceroute imprime essas mensagens até receber uma mensagem do host de destino que nega a conexão.
Você pode alterar a porta caso a porta padrão esteja em uso (evitando que o último salto funcione porque o pacote é silenciosamente aceito).
Existe uma grande quantidade de informações na página man do traceroute em sua distribuição Linux padrão.