Eu não acho que haja um caminho automático. Pacotes instalados através de build-dep são registrados da mesma forma como se tivessem sido solicitados diretamente pelo nome.
Se você souber aproximadamente quando você executou aptitude build-dep , poderá descobrir quais pacotes foram instalados quando executou o comando, examinando os logs em /var/log/aptitude* ou /var/log/apt/* .
Você pode executar apt-cache showsrc PACKAGENAME | grep '^Build-depends:' para listar as dependências de compilação do pacote. Revise cada um deles para ver se você os quer; marque aqueles com os quais você não se importa como não instalados manualmente ( apt-get markauto PACKAGENAME ) e libere os pacotes não obrigatórios ( apt-get autoremove ).