Depois de ler Guia do Freedesktop para o pkg-config , percebi que o pkg-config não faz nada para validar se binários, bibliotecas ou caminhos são precisos. Ele apenas mostra o que está escrito nos arquivos Libs e Cflags dos arquivos .pc .
No meu caso, eles são criados pelo processo de compilação da libav e usam a variável prefix passada para configure .
Portanto, depois de recompilar a libav com prefix definido para um caminho absoluto, o pkg-config exibirá -I e -L sinalizadores apropriados para uso na compilação de outros projetos.