Você pode verificar referências à função mcount (ou possivelmente _mcount ou __mcount de acordo com Implementação de perfil . Essa função é necessária para que o perfil funcione e deve estar ausente para binários sem perfil.
Algo como:
$ readelf -s someprog | egrep "\s(_+)?mcount\b" && echo "Profiling is on for someprog"
O exemplo acima funciona em um teste rápido aqui.