Sim, você pode, mas a maioria dos Makefiles tem um alvo chamado install que faz o trabalho.
Verifique também se o Makefile tem um alvo uninstall , caso você queira desinstalar o programa depois.
Para facilitar a manutenção, você pode usar o programa checkinstall .
( link )