Você precisa usar $1,$2 como string de substituição em vez de apenas , para inserir seus grupos de captura antes e depois.
RegEx.Replace(ActiveDocument.Range, "$1,$2")
Além disso, como o Morgan disse, você precisa escapar do . . Eu também sugiro usar + em vez de * , para ter certeza de que você realmente corresponde a um valor de medição.
([0-9]+)\.([0-9]+\s?mm)