Com rm ~$lename.docx , o shell vê $lename e tenta expandi-lo para o conteúdo da variável provável inexistente lename , portanto, o comando executado é realmente algo como rm ~.docx . Você terá que citá-lo para que o shell não tente fazer isso:
rm '~$lename.docx'
Como alternativa, se você tiver vários desses arquivos, poderá usar o shell globbing (curingas), assumindo que todos esses nomes de arquivos começam com ~$ e terminam com docx :
rm ~$*.docx