Esta página explica o buffer de grep e de saída, em resumo, você quer usar o --line-buffered
flag:
tail -f /var/log/mylogfile | grep --line-buffered ">" | while read line; do notify-send "CURRENT LOGIN" "$line" -t 3000; done
Sobre a fonte, esta pergunta do AskUbuntu menciona que não é oficialmente possível, mas descreve uma ferramenta notifyosdconfig
que permite algumas modificações.