\K
marca o início da região para colorir.
Veja man pcrepattern
para detalhes.
The escape sequence
\K
causes any previously matched characters not to be included in the final matched sequence.
Isso significa que você precisa:
ls -lAF | grep --color -P '^\S+\s+\S+\s+\K\S+\s+\S+'