Sim, INDIRECT
irá aplicá-lo sempre olhando para a mesma célula, independentemente de outras células serem adicionadas / removidas.
INDIRECT
usa uma string, que será usada como um endereço de célula. Assim, sua fórmula atual de:
='B&A'!P41
se tornaria
=INDIRECT("'B&A'!P41")
Usando isso, ele deve referenciar a célula estaticamente e só atualizar se a célula referenciar mudanças.