Claro que você pode fazer isso! Os certificados que você não apresenta e que não estão na cadeia para a raiz de confiança local no cliente não afetam o processo.
Desde que você tenha certeza de que o ouvinte de cada IP esteja apresentando um certificado válido para todos os domínios que ele hospeda, tudo bem.