Como você está construindo opencv a partir de fontes, tente seguir o processo de construção usado pelo empacotamento debian para garantir a compatibilidade com o linux. Estou pensando no suporte da V4L2 por exemplo:
CMAKE_ARCH_FLAGS += -DWITH_V4L=ON