Você precisa usar o VBA.
Então, o que você precisa fazer é ler os valores da coluna A + B em uma matriz.
Digamos que temos uma matriz denominada C
, então C (1) será A2 + B2="1x"; C (2) será A3 + B3="1x"; C (3): A4 + B4="2x"; etc
Você faz um loop for para ler em todos os valores que você tem para C (i).
Depois de ter isso, basta google excel vba how to find duplicate values in an array
Tenho certeza de que haverá muitas soluções para isso.
Depois de obter isso, você provavelmente obterá uma matriz que armazena valores em outra ou na mesma matriz, por exemplo, em Booleanos (verdadeiro / falso)
Então, você acabou de executar outro laço para ele, que será algo como: for i = 1 to NumberOfRows
if C(i) = true then Cells(i, "C").Value = "true"
next i
Claro que existem mais soluções possíveis, mas é assim que eu faria.
Se você tiver dúvidas, não hesite em perguntar!