Isso não vai funcionar e não está relacionado aos caminhos de pesquisa do módulo.
Vamos supor que você tenha conseguido definir o caminho de pesquisa do módulo correto ou vincular o caminho do módulo cv2
a um local no caminho de pesquisa do módulo atual do sistema Python. Agora o Python 3.5.3 tentaria carregar um módulo nativo compilado para o Python 3.6.1. Infelizmente diferentes versões do Python têm diferentes ABIs (Application Binary Interface), o que significa que os módulos nativos compilados para uma versão do Python tendem a não funcionar em diferentes versões do Python. Isso se torna mais provável quanto maior a diferença entre as versões do Python. Uma alteração no número após o ponto em uma string de versão já é considerada uma alteração "maior".
Você precisa compilar e instalar esse módulo novamente para a versão e instalação desejadas do Python. Veja Como instalar o OpenCV 3.1 para o Python 3.5 no Ubuntu 16.04 LTS?