Novos seguidores no Twitter são aqueles que seguem você e não aqueles que você segue. Foram eles que decidiram seguir você e não o contrário.
Se você não quiser que as pessoas o sigam sem a sua permissão, modifique as configurações de privacidade da sua conta do Twitter. Selecione a opção Proteger meus tweets em Privacidade do Tweet .