Eu tive esse problema durante um caffe make. Resolvi isso adicionando isso ao meu /caffe/makefile.config: LIBRARY_DIRS: = $ (OPENCV_LIB) / usr / local / lib
onde / usr / local / lib é onde as bibliotecas do OpenCV 3.3.1 são as que eu quero usar.
Sem essa afirmação, o caffe make estava usando o / usr / lib para o OpenCV. Essa pasta é onde eu tenho bibliotecas OpenCV 2.4.