Você pode tentar uma montagem bind , supondo que você pode usar sudo ou ter direitos de root. Por exemplo,
mkdir /home/me/opencv/build
mkdir -p /media/me/pendrive/opencv/build
sudo mount -o bind /home/me/opencv/build /media/me/pendrive/opencv/build
Então, quando estiver em /home/me/opencv/build , você verá em .. o conteúdo de /home/me/opencv/ . Use sudo umount /home/me/opencv/build para desfazer a montagem.