Acho que a melhor maneira é excluir completamente as versões 3.4 e 3.3 e reinstalar a versão 3.4 .
Para removê-los, tente com
sudo rm -rf /usr/local/lib/libopencv_*
sudo rm -rf /usr/local/bin/opencv_*
sudo rm -rf /usr/local/include/opencv*
sudo rm -rf /usr/local/lib/pkgconfig/opencv.pc
Para verificar se ainda existem alguns componentes opencv, tente uma pesquisa com
sudo updatedb
locate opencv
Se você não tiver o comando updatedb / locate , sugiro instalá-lo com sudo apt install mlocate .
Em seguida, tente reinstalar o OpenCV 3.4