O arquivo é um arquivo de banco de dados por acaso ou algo que pode ainda estar "aberto" por um programa ou daemon de longa execução? Geralmente, se você não viu uma diminuição no espaço em disco, é mais provável que algo ainda tenha o arquivo aberto.
Se realmente é o próprio sistema de arquivos que está com erro (o que seria estranho), eu tenho medo que você precise desmontar o disco para executar fsck nele.