Um cabo RJ12 funcionará em um conector RJ11, mas o terceiro par não será usado. Você pode usar três ou quatro pares de cabos com um conector RJ11, desde que siga os padrões relevantes.
Usar um cabo RJ11 com uma tomada RJ12 pode não funcionar bem, pois o terceiro par pode ser necessário. Alguns cabos RJ11 têm apenas 1 par de fios e não funcionam com dispositivos RJ11 que esperam usar os dois pares.
Há muita documentação na Internet sobre a fiação de telecomunicações e os padrões que se aplicam.