Isso provavelmente pode ser porque você tem os fones de ouvido configurados como Saída Padrão no mixer de som do Windows, e o Spotify 'apenas' escolhe tocar lá - sem outra escolha. Você poderia ir para o Windows Sound Mixer, ou através do botão direito do mouse no ícone do som na barra de tarefas e selecione 'Abrir Configurações de Som' ou via Configurações - Sistema - Som - Volume do aplicativo e Preferências do dispositivo. Lá você pode decidir qual saída o Spotify deve tocar. Observe também que você pode ter volumes diferentes para saídas diferentes. Veja no Volume Mixer.