Ok, eu consegui resolver isso há muito tempo, mas esqueci a pergunta, estou postando a resposta no caso de alguém aparecer com isso.
A questão é que os arquivos .dylib estão faltando e o arquivo XML usado pelo gtk-mac-bundler está faltando uma linha que informa ao bundler onde colocar os .dylib insisde o .app.
Então, no arquivo submodules/cmake-builder/configs/desktop/linphone_package/mac-bundler/linphone.bundle
eu adicionei:
<binary>
${prefix:linphone}/lib/*.dylib
</binary>
Isso é tudo.