Sim, está disponível por padrão. No canto superior direito de qualquer página, basta alterar "Stream" para "Web Player". Da próxima vez que você tocar uma música, ela será reproduzida em um web player no seu navegador.
Existe alguma maneira de adicionar ao Ampache a capacidade de reproduzir arquivos de áudio diretamente de um navegador da web sem a necessidade de usar um media player local? Ou você tem algum outro programa de streaming de música do lado do servidor para recomendar, com tal capacidade?