Não, não há maneira fácil de selecionar várias linhas não contínuas sem selecionar a linha inteira de cada uma. Você precisaria fazer cada linha independentemente.
Usando apenas o teclado
Se as linhas contiverem células consecutivas com dados, você poderá clicar na primeira célula, pressionar ctrl e shift e pressionar a tecla de seta para a direita para selecionar a área relevante. Se alguma célula dessas linhas estiver vazia, você só poderá selecionar até esse ponto (a menos que você pressione a tecla de seta novamente).
Usando o teclado e o mouse
Por edições de music2myear: Você pode selecionar regiões não contíguas pressionando ctrl enquanto clica nas células com o mouse. Isso permitiria aplicar a formatação a várias regiões simultaneamente.