Acontece que o problema foi com a codificação de caracteres. Por algum motivo, ele tinha feeds de linha de retorno de carro. Eu não tenho certeza porque isso aconteceu em primeiro lugar desde que nenhum deles foi realmente colocado no arquivo. Mas eu corri:
dos2unix ignore.txt
E executei o diff novamente e pareceu funcionar bem.