Ok, eu percebi! isso está acontecendo porque minhas anotações estavam em um formato de bloco longo sem espaços entre os parágrafos. Assim que eu adicionei o espaçamento entre os parágrafos para separá-los em seus próprios blocos, ele agora não faz o movimento de rolagem para cima. Estou deixando isso aqui para o próximo googler cansado que deseja conhecer a solução como fiz antes.