Você não pode fazer isso com uma substituição rápida diretamente, porque ^foo^bar
é uma abreviação para:
!!:s/foo/bar/
A parte !!
(que se refere ao último comando) não faz parte da sintaxe rápida (é isso que a torna rápida), mas você pode usar a sintaxe mais longa diretamente e modificar o !!
para o que você quiser:
!-4:s/foo/bar/
Eu expliquei o quanto da sintaxe da história como eu sei em este post ; a última seção inclui o modificador :s