Você não pode removê-lo porque ele está embutido. A opção mais fácil é desativá-lo.
Execute o prompt de comando como administrador e execute o seguinte comando:
net user Administrator /active:no
Ao efetuar logout, você não deve mais ver a conta do Administrador como uma opção na tela de logon.