Use parênteses de captura para lembrar a parte que está mudando na string:
sed -i~ 's/\("INFO=[^"]*\)",/;;;",/' *.log
Você pode precisar adicionar um g
no final se mais de uma INFO ocorrer por linha.
Isso não funcionará se * contiver aspas duplas.