Se por OpenCV você quer dizer as bibliotecas de visão computacional em link então elas já estão empacotadas para debian pela Equipe de Ciências do Debian.
A sua melhor aposta é baixar o pacote fonte debianizado do mirror debian mais próximo, modificar o debian / rules e / ou Makefile ou configurar etc conforme necessário para compilar corretamente no pi do framboesa e reconstruir os pacotes.
O trabalho de embalagem já está pronto, não é necessário fazer isso de novo ... e de novo e de novo toda vez que você quiser atualizá-los.
Existe um monte de pacotes binários, mas libopencv-dev é provavelmente o que você quer começar com o link