O man em si é uma ferramenta para formatar páginas de manual, não para pesquisá-las. A ferramenta que você usa para navegar nas man pages é um pager . O pager padrão na maioria dos sistemas é menos .
Em menos, quando você pressiona / ou ? para pesquisar, alguns caracteres têm um significado especial se você os digitar no início da expressão de pesquisa. O ponto de exclamação é um deles. Para evitar que ! tenha um significado especial, coloque uma barra invertida antes dela. É muito comum que a barra invertida signifique "interpretar o próximo caractere literalmente".
Portanto, para procurar um ponto de exclamação, pressione /\! Enter .