Isso é correto, você não precisa manter o código fonte extraído. Se você quiser ter certeza disso antes de apagar as pastas, você pode renomeá-las e verificar se o ImageMagick e o PDFtk ainda funcionam ...
Pode ser útil manter os arquivos originais que você baixou junto com uma nota dos comandos que você usou para configurar os builds. Se você quiser desinstalar os programas, poderá extrair os arquivos, executar configure
e depois desinstalar usando make uninstall
(se isso for suportado).