Depois que você compilou e instalou o nginx ( make install ), você não precisará mais do diretório extra para o módulo (supondo que essa pasta da qual você fala seja o código-fonte do módulo, e não uma pasta criada pelo módulo quando o nginx é executado).
No entanto, você provavelmente vai querer manter o diretório em torno de quando você atualizar nginx e recompilar no futuro (ou você pode apenas fazer uma nova carga do módulo de velocidade da página novamente).