identify that TX is not connected
Não há nada nos padrões 802.3 até 100BaseTX que suporte essa funcionalidade. Claro, se você tiver controle sobre ambas as extremidades do link, você pode implementar uma sonda de eco que seria respondida pelo lado remoto.
Para 1000BaseT, as coisas são diferentes - não haveria um "par TX" ou "par RX", pois os quatro pares são usados para transmissão e recepção simultaneamente. Como os quadros IDLE são enviados continuamente pelo fio, os pares desconectados podem ser detectados pela ausência de tráfego.
Além disso, algumas NICs podem fornecer maneiras de fazer testes de cabos, embora sejam proprietárias e não conheço nenhuma implementação do Linux. É assim que a caixa de diálogo Análise de cabo da Broadcom fica no Windows:
