Bem, para sua informação, a versão opencv no Xenial é apenas 2.4.9 detalhes, como segue:
python-opencv:
Installed: (none)
Candidate: 2.4.9.1+dfsg-1.5ubuntu1
Version table:
2.4.9.1+dfsg-1.5ubuntu1 500
500 http://in.archive.ubuntu.com/ubuntu xenial/universe amd64 Packages
Você precisa usar o opencv 3.1, bem, você precisa instalar um monte de coisas que podem ser encontradas em outros blogs. Eu não vou escrever todos aqui, mas eu posso mostrar links, porque é muito bom explicar por aí. Link aqui . Você pode segui-lo no seu Ubuntu 16.04.