Você não pode simplesmente lançar caracteres de pipe (|) na linha de comando sem evitá-los ou circundá-los com aspas ("). Caracteres de pipe têm significado especial para o interpretador de comandos. Além disso, certifique-se de que o Nmcap.exe seja no seu diretório de trabalho atual (por exemplo, C: \) ou na variável de ambiente path. O binário é mais provável em C:\Program Files\Microsoft Network Monitor 3\
em seu computador.
Algo parecido com isto:
C:\>Nmcap.exe /network * /capture "KerberosV5 || TCP.port==389 || UDP.port==389" /file c:\temp\capture.chn
Leia a ajuda do Nmcap.exe: Nmcap.exe /?