Primeiro, você não quer usar bjam
, mesmo que o projeto Boost o use e aparentemente o recomende. Isto é terrível. Apenas use make, ou possivelmente cmake, ou scons.
O pacote binário do Debian Boost é claro pré-compilado, então você não precisa compilar nada no Boost. Isto é o que significa binário. Leia a documentação e, se não conseguir descobrir, dê mais detalhes sobre o que você está tentando fazer.