O ImgSeek é uma solução de código aberto que permite pesquisar por similaridade e até esboçar uma versão básica da foto que você está procurando por.
Não tenho certeza se a enorme exibição de imagens por cores dominantes é um recurso, mas deve fazer quase tudo o que você precisa. Ele também está sendo desenvolvido ativamente para que esse recurso seja adicionado no futuro.
A imagem abaixo mostra a pesquisa de imagens semelhantes.