Como help
é o único dos comandos que funcionam com correspondências parciais, você pode simplesmente inverter a ordem dos comandos:
rtfm() { "$@" -h || "$@" --help || man "$@" ||
help "$@ "|| xdg-open "http://www.google.com/search?q=$@"; }