Você pode usar "bdiff". É usado para comparar arquivos que são muito grandes para serem carregados na memória.
link
Existem ferramentas que permitem "diferenciar" arquivos de texto de terabytes?
Os arquivos são classificáveis? (por exemplo, através do comando "sort")
Se eles são, e dependendo do tipo de diferença que você está procurando e se este é um exercício de uma vez, por que você não os ordena cada um, dividido nas letras do alfabeto (ou o que for, desde que como você obter vários arquivos) e, em seguida, compare cada letra ..
Primitivo, mas pode funcionar limpo e fácil para você?
Tags diff