Pegue dados de uma onda sonora e use como representação na distorção de imagens, vídeo ou 3d?

Question

Eu me tornei muito fascinado com a idéia de destruição digital através de um meio físico. Havia um vídeo da PBS no youtube Como a arte de Glitchy nos mostra quebrados É lindo?

Exemplos de peças:

Cadeira de som cultural brasileira : mostra essa ideia com som e como um som do brasil influencia a forma.

Armário digital . Mostra uma divisão entre os armários barrocos clássicos e a nova destruição digital.

Pergunta:

• como posso capturar graficamente os dados de uma onda sonora e, a partir disso, editar uma imagem, um vídeo ou uma renderização 3D

  • Existe alguma ferramenta ou processo comum para obter esse tipo de resultado a partir do exemplo?

• Qualquer automação desses efeitos através de java (qualquer linguagem para o usuário) seria a mais útil nesta representação?

  Eu acredito que a automação é o que formará bonito

Eu sou um bom programador, então qualquer conceito de automação de coisas como essa seria excelente. Eu sei que esta é uma pergunta muito complicada, mas qualquer dica ou truque vai me ajudar na minha pesquisa.

    

Answer 1

Você provavelmente pode obter graficamente dados de ondas sonoras usando o Audacity .

Para automação, você pode dar uma olhada em LADSPA .

Espero que ajude