Sim, você pode excluir a fonte com segurança - no entanto, já que você gastou bastante tempo para fazer o ffmpeg compilar (depende de muitas bibliotecas!), por que não manter a fonte apenas para o caso de precisar compilá-la? de novo?
O programa checkinstall
teria compilado e convertido em um pacote utilizável pelo dpkg. Mesmo se você excluir a fonte, você pode querer manter esse arquivo de pacote para que você possa reinstalá-lo (por exemplo, após a reinicialização, a migração, etc.).