Eu rapidamente descobri que não poderia encontrar alguns cabeçalhos, porque eu não copiei corretamente (bobagem).
Mas não resolveu o problema de ligação. Consegui resolver isso com a compilação manual de opencv para cada arquitetura e incluindo os arquivos da biblioteca no projeto, seguindo este projeto como referência: link