Comparando toda a coluna:
=(Sheet1!A:A=Sheet2!A:A)
ou comparando uma célula nas duas folhas:
=(Sheet1!A1=Sheet2!A1)
Isso colocará TRUE na célula onde a fórmula está, se as duas colunas ou células forem iguais, e FALSE se forem diferentes.