Quando VLOOKUP não consegue encontrar algo, ele retorna um erro #N/A , portanto, sua condição deve verificar isso.
Tente isso:
=IF(ISERROR(VLOOKUP(B6,HIRES!A:A,1,FALSE)),"N","Y")
A função ISERROR retorna TRUE quando VLOOKUP rende e erro e FALSE caso contrário. Então, você tem que inverter a ordem dos argumentos Y e N na sua função IF .