O HDBaseT é projetado para coexistir com / tolerar Ethernet, portanto nenhum dos dois danifica o outro. O IEEE PoE for Ethernet foi projetado para não danificar nada, por isso é pelo menos seguro conectar-se ao HDBaseT.
Os adaptadores RS-232 são completamente diferentes. As altas voltagens e pinagens podem danificar as portas Ethernet (ou vice-versa) quando conectadas.
Os adaptadores RS-485 não devem causar danos (é diferencial com baixa voltagem), mas eu não apostaria nisso.