De xdotool (1) :
key [options] keystroke [keystroke ...]
Options:
--window window
Send keystrokes to a specific window id. You can use ''WINDOW STACK'' references like ''%1'' and ''%@'' here. If there is a window stack, then ''%1'' is the default, otherwise the current window is used.
Em seu teste ssh , você já havia focado a janela do Firefox, por isso recebeu o pressionamento de tecla. No script, o xte mousemove ... deixou sem foco.
Você pode encadear xdotool search com outros comandos. A pesquisa por firefox pode retornar várias janelas. A manpage usa o exemplo --classname Navigator , que funciona para a versão que testei (47.0.1). Caso contrário, você pode usar xprop para encontrar alguma outra string específica para a janela relevante.
xdotool search --classname Navigator windowfocus key F11