regex: (?<!^)(?<![,:])"(?![,:])(?!$)
Substituirá qualquer " que não seja o ^ início da linha, $ fim da linha ou cercado em qualquer lado por [,:] vírgula ou dois pontos.
Deve ser bom, a menos que eu entenda mal o que você estava tentando fazer. Se você tiver mais delimitadores do que [,:] , basta adicioná-los aos dois grupos na regex.