Para o que você quer realizar, você não precisa selecionar o parágrafo inteiro ou mesmo a marca de parágrafo (¶). Basta pesquisar o texto que distingue os parágrafos que você está procurando (por exemplo, letra maiúscula, período, espaço) e defina o "Substituir por" como um estilo de parágrafo:
Aplica-se automaticamente ao parágrafo inteiro.