Uma sugestão simples seria quebrar o canal quando você tiver o que deseja:
ssh -oStrictHostKeyChecking=no -i <key> username@hostname "yarn top" |
head -5 |
grep -w 'Applications' |
awk '{print "Pending_apps" "\t" $7; exit}' >> test.txt
Isso diz ao awk para sair depois de receber a primeira linha de entrada (já que não há condições para o bloco de código).