Você está certo sobre os arquivos de backup serem links físicos e é seguro excluir apenas o diretório de backup.
Hard links são apenas ponteiros, portanto, se um arquivo tiver dois links físicos, o espaço ocupado por esse arquivo só será recuperado pelo sistema operacional quando ambos os links forem excluídos.