Até onde eu sei, o Photoshop não faz anti-alias na maioria das coisas. (Acredito que as camadas de fonte são ... mas isso é outro assunto) Eu acredito que você esteja se referindo a "bordas emplumadas" ou trabalhando com "áreas semitransparentes". Você precisa remover o canal alfa da camada ... (ou seja, sem transparência) ou não usar ferramentas que selecionam / criam bordas suaves ou têm uma borda enevoada.