Ok, eu encontrei o que estava faltando.
Aqui você encontra em uma resposta que em todos os requisitos são realmente estes:
sudo apt-get install -y libxml2-dev libxslt1-dev zlib1g-dev python3-pip
Depois disso, você pode fazer com segurança sudo pip install lxml