Após algumas tentativas e erros, descobri que a solução pode não ser eficiente, mas até agora é útil
=IF(ISTEXT(A1);A1&".jpg")
Você pode substituir ".jpg" por qualquer coisa que queira adicionar ao final.
O mesmo que o prefixo
=IF(ISTEXT(A1);"prefix"&A1)
Por favor, note que as células em branco serão preenchidas com FALSE para remover o uso do notepadd ++ e substituir todo o FALSE por \ n para manter as linhas estáticas