Não, você não danificará esses dispositivos. Existem postagens ocasionais em contrário, mas na maioria das vezes parece que o PoE só é ativado após o envio de uma solicitação de inicialização. Uma discussão melhor pode ser encontrada aqui: link
Detecção de PoE ocorre assim: "Para evitar danos a dispositivos não PoE, um componente-chave do padrão 802.3af PoE é a detecção. Os PSEs devem ser capazes de detectar a presença de um dispositivo habilitado para PoE antes de enviar energia, e deve ser capaz de detectar quando o dispositivo energizado não está mais presente e remover a energia.Para obter uma detecção precisa, uma corrente de detecção de baixo nível é enviada do PSE pelo cabo e a resposta é analisada para determinar se um dispositivo compatível está conectado "
O restante da explicação do PoE e do padrão pode ser encontrado aqui: link