Existem muitas maneiras de fazer isso, mas se você estiver preso, mantenha-o simples, em vez de optar por uma solução elegante. Basta construir a fórmula da mesma maneira que você descreve.
Você pode extrair os dígitos individuais tratando os números como uma sequência de texto e usando LEFT, MID e RIGHT (ou mesmo apenas MID para cada dígito). Use IFs aninhados para testar os dígitos sequenciais da esquerda, seja adicionando 1 para cada correspondência sucessiva ou encerrando quando não houver correspondência. Supondo que os números de comparação estão em A1 e B1, a fórmula de resultado em C1 seria assim:
=IF(LEFT(A1,1)<>LEFT(B1,1),0,1+IF(MID(A1,2,1)<>MID(B1,2,1),0,1+IF(MID(A1,3,1)<>MID(B1,3,1),0,1+IF(RIGHT(A1,1)<>RIGHT(B1,1),0,1))))
Otestepara"não igual" simplifica a lógica da finalização porque a fórmula segue diretamente suas regras. Você poderia testar "igual", mas a sequência da fórmula se tornaria mais abstrata.