Droga. Eu precisava apontar para o repositório mainline, em vez do repositório estável.
Atualizei o nginx.repo para o seguinte:
# nginx.repo
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/mainline/centos/$releasever/$basearch/
gpgcheck=0
enabled=1
Agora tenho o nginx 1.9.5:)