Selecione a primeira linha abaixo da que você gostaria de "congelada" e selecione Window | Congelar.
EDIT: Na verdade, isso funciona para congelar linhas e colunas. Por exemplo, se selecionar a célula C3 e o Window | Congelar, depois as duas primeiras linhas e as duas primeiras colunas serão congeladas.