Experimente lockf .
lockf - aplica, testa ou remove um bloqueio POSIX em um arquivo aberto
A função lockf () permite que seções de um arquivo sejam bloqueadas com bloqueios de modo consultivo. Chamadas para lockf () de outros processos que tentativa de bloquear a seção do arquivo bloqueado retornará um erro valor ou bloco até que a seção seja desbloqueada. Todas as fechaduras para um processo são removidos quando o processo termina. Bloqueio de gravação com lockf () é suportado para arquivos regulares. IBM
Mas encerrar o java (Java Virtual Machine) terminaria todos os outros programas usando java. Então, como devo liberar o bloqueio realizado por qualquer processo. Para o mesmo propósito, o Windows possui um aplicativo chamado 'Unlocker'.