O repositório vinculado não possui um arquivo de configuração, mesmo que o arquivo de instalação o tenha mencionado. Isso parece um melhor repositório link
então o que você faz é
git clone https://github.com/Distrotech/libilbc-webrtc.git
cd libilbc-webrtc
./configure
make
make install
depois, não esqueça de usar a opção que você adicionou no arquivo brew assim:
brew install --with-ilbc -v