Você precisa informar ao Excel que parte da fórmula será corrigida, enquanto a outra será ajustada quando você a arrastar.
A parte da fórmula que se move permanece como você a escreveu, A4
A parte fixa da fórmula deve ser corrigida com o sinal de dólar $, como $A$1
Sua nova primeira fórmula será parecida com:
=A4 * $A$1
E quando você arrasta isso, ele deve ter a aparência correta em cada célula.