Você também pode usar o comando Linux find. Então, para encontrar todas as bibliotecas do OpenCV você pode fazer o seguinte (isso pode demorar um pouco)
sudo find / -name "*opencv*" -exec rm -i {} \;
O comando acima encontrará qualquer arquivo contendo opencv no nome e solicitará que você o remova. Como sempre, tenha cuidado ao excluir as coisas manualmente!
Referência aqui