QTDIR não deveria ser realmente necessário, mas tente defini-lo como /usr/share/qt5 .
Você poderia construir o pacote fonte Debian:
sudo apt-get install devscripts dpkg-dev build-essential
sudo apt-get build-dep lyx
dget http://httpredir.debian.org/debian/pool/main/l/lyx/lyx_2.2.0-2.dsc
cd lyx-2.2.0
dpkg-buildpackage -us -uc
Os dois primeiros comandos instalam os pacotes necessários para criar lyx ; então dget baixa e extrai o pacote fonte, e dpkg-buildpackage constrói e produz uma série de .deb pacotes que você pode instalar manualmente usando dpkg como de costume.