Se você concluir a instalação com make install
(ou equivalente), apenas o último é necessário. A ideia é que o diretório de compilação contenha os arquivos que foram criados durante o processo de compilação (incluindo arquivos de objetos dos quais bibliotecas e binários estão vinculados). O diretório no qual você instala o aplicativo contém apenas o que é necessário para ser executado. No entanto, isso não precisa ser um subconjunto do diretório de compilação - ele pode conter alguns arquivos de dados que estão incluídos no tarball de origem, mas não necessariamente copiados no diretório de compilação (embora o possa ser).
De um modo geral, o que acaba no diretório de destino para instalação é geralmente o que é empacotado em pacotes de distribuição regulares.