Os direitos de administrador são sempre suficientes nos volumes NTFS.
Os membros do grupo Administradores interno do computador têm o direito de apropriar-se de qualquer objeto do sistema de arquivos. O proprietário de um objeto sempre tem o direito de definir as permissões que desejar, incluindo o direito de adicionar permissões para si mesmo, mesmo que nenhuma tenha sido concedida antes. Por esse processo, os administradores sempre podem conceder acesso a qualquer arquivo ou pasta.
Como indicado pelo seu comentário, o problema era simplesmente que o arquivo estava em uso quando você tentou excluí-lo:
I was running it in Sublime Text while I tried to remove it....facepalm.
Essa condição impede que o arquivo seja excluído. Na verdade, é uma técnica geralmente utilizada por malware para impedir tentativas de um administrador de removê-lo.