Existem várias maneiras de fazer isso, pois há muitas ferramentas de seleção e formas de fazer seleções. Mas se você estiver usando as ferramentas Marquee , poderá usar as chaves SHIFT , ALT e CTRL ( Option e Command no Mac) para alterar o comportamento das ferramentas (e de qualquer outra para esse assunto). Não me lembro qual é qual no momento, mas um colocará um sinal de menos no cursor, para remover da seleção, e o sinal de mais fará o oposto. Você também pode usar os botões na barra de ferramentas superior para alterar os modos, mas usar o teclado é melhor.
Você também pode manipular a seleção usando as opções Transform Selection e Free Transform no menu Editar (pode ser o menu Seleção?). Eu acho que isso pode ser o que você está procurando, mas descrever como usá-los é um pouco difícil de usar palavras. É melhor para você brincar com ele ou procurar guias ilustrados ou tutoriais em vídeo na Web.