A troca de chave inicial é estruturada de tal forma que não é possível ao seu ISP determinar a chave, mesmo que tenha interceptado todo o processo de troca de chave. Isso é possível por causa da criptografia de chave pública assimétrica.
Na criptografia assimétrica, os dados são criptografados e descriptografados usando chaves diferentes (diferentemente da criptografia simétrica, em que a mesma chave é usada para ambos). As chaves de criptografia e descriptografia estão relacionadas de tal maneira que não é prático com os computadores atuais calcular um do outro.
Criptografia de chave pública é o caso típico de criptografia assimétrica, em que uma chave é a chave "Pública" e a outra chave é a chave "Privada". Quando você se conecta a um computador na Internet usando SSL, o servidor tem uma chave privada e seu computador tem uma chave privada (gerada pelo seu navegador para a conexão). Seu computador e o servidor trocam chaves públicas, mas não precisam enviar chaves privadas umas para as outras. Seu computador criptografa os dados usando a chave pública do servidor e os dados podem ser descriptografados somente com a chave privada do servidor. O inverso também funciona: o servidor criptografa os dados com sua chave pública e somente sua chave privada pode ser usada para descriptografá-la.
Como as chaves privadas nunca são trocadas na rede, seu ISP não pode vê-las. Seu ISP não vê as chaves públicas, mas não é possível descriptografar informações usando as chaves públicas (apenas para criptografá-las), para que seu ISP não possa descriptografar as informações trocadas.
Como uma observação interessante, os sistemas de chave pública geralmente também funcionam em sentido inverso - a chave privada pode ser usada para criptografar algo e só pode ser descriptografada usando a chave pública. É assim que as assinaturas digitais funcionam - se a chave pública de uma pessoa ou dispositivo descriptografa as informações com êxito, você sabe que elas foram criadas por alguém ou por algo em posse da chave privada.
Observe que a criptografia assimétrica é muito mais intensiva do processador do que a criptografia simétrica. Para maximizar o desempenho, o SSL usa criptografia assimétrica apenas para o estágio de troca de chave - seu computador e o servidor criam uma conexão temporária protegida por criptografia assimétrica para trocar uma chave que será usada para criptografar a conexão real simetricamente. A chave simétrica nunca é revelada em texto simples, então o seu ISP nunca a vê.
A criptografia assimétrica é um sistema muito interessante e vital para a segurança na Internet: ela possui a poderosa propriedade de permitir que duas partes se comuniquem com segurança sem precisar confiar no mensageiro.