\K marca o início da região para colorir.
Veja man pcrepattern para detalhes.
The escape sequence
\Kcauses any previously matched characters not to be included in the final matched sequence.
Isso significa que você precisa:
ls -lAF | grep --color -P '^\S+\s+\S+\s+\K\S+\s+\S+'