Sua distribuição pode fornecer um pacote linsndfile-dev ou similar (o Julius manual tem alguns exemplos na seção 2.4.1) e esse é provavelmente o método mais fácil.
Caso contrário, instale libsndfile primeiro:
./configure
make
make install
então compile Julius como você fez e deve funcionar. Se você quiser verificar novamente, a saída ./configure para Julius deve, em algum momento, falar sobre libsndfile se ele for detectado.