Descobri que a solução era usar pip3 para executar Cython install, bem como python3 para executar setup.py da biblioteca, portanto:
RUN apt-get update && apt-get install -y \
python3-pip
e
RUN \
pip3 install --no-cache-dir Cython
e a camada da biblioteca
RUN \
cd lib && \
python3 setup.py
O último pode ter sido pip3 install . para instalar globalmente usando pip3 .
Desta vez fazendo
RUN python3 -c "import Cython; print(Cython.__version__)"
Eu tinha Cython lá: 0.25.2