O ataque TCP Xmas usa URG além de FIN e PSH. Sistemas operacionais diferentes reagem de maneira diferente ao receber esse tipo de pacote, por isso é usado para a impressão digital do SO. Aparentemente, isso pode causar falhas em algumas pilhas IP.
Também é importante notar que há ataques de inundação baseados simplesmente na configuração de combinações de sinalizadores inválidos. link
Pode não haver uma resposta específica para sua pergunta com base em padrões. De relance no RFC-793 , parece não haver detalhes sobre outros sinalizadores em um pacote FIN, diferente do que deve ter ACK set (mas não SYN), e valores SYN e ACK que correspondem a uma conexão estabelecida. Se esses critérios mínimos não forem atendidos (ou a pilha determinar que a combinação de sinalizadores é inválida), o pacote será descartado.
Todos os padrões têm aspectos indefinidos para sua implementação, e o TCP definitivamente não é uma exceção. Isso é evidenciado pelo fato de que algumas pilhas falham para URG + FIN + PSH, outras não, e aquelas que ficam acordadas respondem de maneira diferente.