Você pode usar esses mapeamentos personalizados para pesquisar para cima e para baixo sem "poluir" o histórico de pesquisa (usado por nN ) ou remover o realce da pesquisa "normal" anterior:
nnoremap ,/ :<C-u>call search(input("/"))<CR>
nnoremap ,? :<C-u>call search(input("?"),"b")<CR>
Ignorar o normal / e ? não me parece uma ideia viável.