Primeira possibilidade é que o sinalizador imutável está ativado . Você pode alterar esse comportamento usando o comando chattr -i filename para permitir as alterações no arquivo.
Mas talvez você esteja executando um sistema de arquivos com erros ; isso pode fazer com que seu sistema de arquivos seja lido apenas inteiramente ou para determinados arquivos. Problemas com a RAM podem emular este problema, também . Isso pode ser corrigido quando você reinicializa o servidor e executa o fsck, mas às vezes o servidor pode falhar ao iniciar e os dados podem ser perdidos quando a operação de reinicialização tenta sincronizar as informações na sua RAM para o disco durante a reinicialização. Se o dmesg mostrar que você está executando com erros de memória ou de sistema de arquivos, eu recomendaria um backup de dados antes da reinicialização, se isso for possível. Às vezes, endereços ruins de memória são fornecidos pelo kernel devido a problemas de hardware, e alguns dados ruins podem ir para os discos quando o sistema é reiniciado. Um kernel maluco é pior que um kernel em pânico, e pode fazer alguns comportamentos inesperados, como escrever no seu MBR, ou arquivos importantes; é raro, mas possível em hardware defeituoso, especialmente se você estiver executando com memória RAM ruim ou com um processador quente. No Brasil, temos uma grande quantidade de hardware ruim que pode causar isso. Nota: Se o problema for com a memória RAM, não execute o FSCK - ele fará coisas malucas.
ATUALIZAÇÃO: Porque você está dizendo que está tendo problemas apenas com o tmp, há uma chance de que o tmp esteja sendo montado em outra partição (com erros, talvez?) ou externamente (samba, nfs?) Portanto, neste caso, precisamos de mais informações sobre suas partições montadas. Se for esse o caso, poste o resultado do comando mount sem nenhum argumento.