A instalação do Boost via apt instala vários pacotes do Boost que não são desinstalados no remove que você está usando. Tente sudo apt-get autoremove , o que removerá os pacotes não obrigatórios. Eu testei isso no meu Ubuntu 12.04.x LTS que removeu com sucesso os pacotes Boost não necessários.
A maneira como você está reinstalando o pacote pode instalar o Boost no seu sistema (/ home) em vez de no sistema (/ usr ..).
Use a opção --prefix de b2 para definir o local da instalação.
Dependendo de onde ele for instalado, na conclusão de ./b2 , você verá mensagens como estas:
The Boost C++ Libraries were successfully built!
The following directory should be added to compiler include paths:
/home/you/boost_1_54_0
The following directory should be added to linker library paths:
/home/you/boost_1_54_0/stage/lib
Portanto, atualize o LD_LIBRARY_PATH e o C_INCLUDE_PATH de acordo com os usos adicionais do Boost.