O nível é muito "quente". Existem outras tomadas que você poderia tentar? Um line-out versus speaker-out, por exemplo.
Um "conector flexível" pode ter modos diferentes e você pode configurá-lo para fones de ouvido.
Se tudo mais falhar, essa correspondência de nível é um problema comum para áudio profissional (e uso de hobby misturando equipamentos semi-profissionais e de consumidor), e você pode comprar "pads" de alta qualidade que se encaixam para reduzir o volume . Existem dispositivos de condicionamento Compex que podem ser ajustados e preencher várias funções, mas como este é um uso conhecido perminante que seria um exagero.
Tenho alto-falantes amplificados baratos que possuem um conector de fone de ouvido, e o botão de volume funciona nos fones de ouvido quando conectado. Usar isso, ao invés de conectar diretamente na linha de saída, resolveria seu problema também.
O Sound Design SE tem discussões sobre compatibilidade de níveis e a confusão geral de conectar dispositivos de áudio juntos.