Então, eu compilei com sucesso para ~/.local editando a opção prefix no makefile para prefix=~/.local o programa compila bem, e fiz o mesmo com librtmp . Ao executar ldd no binário, recebo a seguinte saída:
ldd rtmpdump-ksv/rtmpdum...
06.04.2015 / 11:54