Para fazer isso, basta remover o seguinte da configuração:
# Disable delete commands
cmds_denied=DELE,RMD
Em que DELE
é a permissão do arquivo de exclusão e RMD
é a permissão para remover o diretório.
Retirado de esta questão em serverfault como sugerido nos comentários de @Pretenderus.