O PSE (Power Sourcing Equipment) e o PD (Powered Device) negociam para ver se o dispositivo final é compatível de ser alimentado e em qual padrão. Então, conectar um dispositivo não PoE não danificará o dispositivo.
Aqui está uma boa leitura sobre os fundamentos do PoE (Observe que o documento é bem antigo e foi escrito antes do aprimoramento do 802.3at, que modifica muitas das questões abordadas.