Se houver zumbido, provavelmente haverá pelo menos um pequeno loop de aterramento. O zumbido é 60Hz? Ou alguma outra frequência identificável?
Mas não, você não precisa de um pré-amplificador. Você realmente precisa de um volume menor do que o fone de ouvido, acho que 50% a 75% funcionam bem, dependendo das especificidades do hardware. Se ainda houver zumbido, veja se ligar um iPod ao conector de fone de ouvido no divisor cria o mesmo zumbido. Se não, então há algum tipo de incompatibilidade de terra.