Você poderia usar ImageSearch, como você sabe as coordenadas da barra de status do VIM onde diz INSERT você pode usar um SetTimer para checar cada palavra 200ms se INSERT for encontrado (você tem que capturar / criar uma imagem primeiro é claro) . Se ele puder ser encontrado, você pode definir uma variável de alternância como verdadeira ou falsa e você pode usar essa variável de alternância com a instrução #If.
Seria algo como isto
Toggle:=false
SetTimer, Label, 200
Return
#If Toggle
; hotkeys/hotstrings etc
#If
label:
IfWinNotActive, ahk_exe gvim.exe
{
toggle:=false
return
}
ImageSearch.... ;
If (ErrorLevel = 0) ; image found
{
toggle:=true
return
}
Return