Se você tiver o mesmo rodapé de cabeçalho em todo o documento (ou não usar o cabeçalho e o rodapé), poderá adicionar sua imagem ao rodapé do cabeçalho da primeira página. Em seguida, com cada capítulo, adicione uma quebra de seção e verifique se os cabeçalhos e rodapés estão vinculados e se a imagem será repetida nessas páginas.
Ambas as opções podem ser encontradas clicando duas vezes no cabeçalho e no rodapé: