Isso funciona para mim
For Each wb In Workbooks
For Each sh In wb.Worksheets
sh.Cells.SpecialCells(xlCellTypeConstants).Replace What:="a", Replacement:="b", LookAt:=xlPart, _
SearchOrder:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Next sh
Next wb
Tudo o que fiz foi usar o gravador de macro para gravar uma operação de localizar e substituir e adicionar os loops.
Se você não quiser fazer a alteração em todas as pastas de trabalho abertas, remova o par externo For
Next
, mas imaginei que isso facilitaria a execução de várias pastas de trabalho de uma só vez.