Você precisa rm dir2/file1 e refazer o hardlink. Hardlinks não são como links simbólicos. Onde links simbólicos são um ponteiro para um arquivo original, hardlinks são geralmente indistinguíveis do arquivo original. Quando você excluiu dir1/file1 , dir2/file1 se tornou o novo "original". Então, para ter um hardlink chamado dir2/file1 , você tem que tirar este arquivo agora-original dir2/file1 do caminho.