O "fundo" é o seu arquivo PDF original que você usou para anotar com o Xournal. O arquivo xoj não contém esse arquivo, mas meramente suas "adições" (notas, texto manuscrito, etc.). Portanto, para abri-lo novamente corretamente, você precisa ter o arquivo PDF original.
Você pode dar uma olhada nos arquivos xoj - eles são XML simples, compactados com gzip:
cp file.pdf.xoj file.xml.gz
gunzip file.xml.gz
gedit file.xml
Haverá uma linha contendo algo como
<background type="pdf" domain="absolute" filename="/home/username/xxxxx.pdf" pageno="1" />
Verifique se esse arquivo está presente no local na tag acima. Você também pode modificar o xoj para apontá-lo para o novo local, salvá-lo e fazer
gzip file.xml
mv file.xml.gz newfile.pdf.xoj