A razão pela qual isso estava acontecendo era porque os dados não estavam armazenados na pasta /, eles eram armazenados em um local diferente e eram montados na pasta /. Eu tive que encontrar a localização real dos dados e alterar o modo lá, o que me permitiu remover a pasta depois.