sorta funciona da mesma maneira no Photoshop. Use o fato de que uma seleção é definida independentemente das camadas:
assumindo que o objeto a subtrair está sozinho em sua camada B:
- clique com a tecla Cm no ícone da camada B, para selecionar o contorno da forma
- torna a camada A ativa (a seleção ainda é o contorno da forma em B)
- pressione delete (ou menu Editar-> Limpar)
- ocultar ou excluir a camada B
Vamos supor agora que seu objeto está na forma de uma máscara de vetor. Você pode rasterizar, então é normalmente editável. Ou você pode criar uma máscara de camada a partir da seleção (criada anteriormente na outra máscara de vetor) para ocultar o que está por baixo.