Para o Ubuntu 17.10 e acima:
O pacote python3-opencv está disponível nos Repositórios Oficiais do Ubuntu.
Então você pode instalar este pacote com este comando facilmente (sem necessidade de pip ou qualquer outra forma):
sudo apt install python3-opencv
Informações adicionais:
Como este pacote está disponível em universe repositórios do Ubuntu, então este repositório deve estar ativo em sua máquina (que está ativo por padrão):
sudo add-apt-repository universe
sudo apt update