Eu não tenho CS5, mas se você entrar no histograma na seção de estatísticas, há uma estatística chamada pixel, que é o número total de pixels usados para fazer os cálculos. Portanto, se você fizer a seção antes de entrar no histograma, poderá obter a contagem de pixels de um objeto não retangular. Para facilitar, eu provavelmente moveria a seção para uma nova camada para que você saiba que tem exatamente o que deseja.
Documentação da Adobe para CS3