A tecnologia que você está procurando é chamada Impressão digital acústica , definida como:
An acoustic fingerprint is a condensed digital summary, deterministically generated from an audio signal, that can be used to identify an audio sample or quickly locate similar items in an audio database.
Existem muitas aplicações listadas no link da Wikipedia acima, mas a maioria é comercial.
Outra lista de freeware e produtos comerciais é encontrada no artigo AudioFingerprint no MusicBrainz, uma comunidade aberta mantida pelo usuário que coleta e disponibiliza aos metadados de música pública sob a forma de uma base de dados relacional.
Alguns projetos gratuitos e de código aberto da lista que você pode examinar:
jHears
uma estrutura de impressão digital acústica.
Acoustid
projeto de código aberto que visa criar um banco de dados livre de impressões digitais de áudio com mapeamento para o banco de dados de metadados do MusicBrainz e fornecer um serviço da web para identificação de arquivos de áudio usando este banco de dados.
libFooID
uma biblioteca de impressões digitais acústicas de código aberto.