Você precisa de overlay
como o primeiro parâmetro posicional, como em:
mount -t overlay \
-o lowerdir=/var/steamcmd,\
upperdir=/var/servers/1/custom,\
workdir=/var/servers/1/overlayWork \
overlay /var/servers/1/steamcmd
#^^^^^#
O overlay
extra também pode preceder o -o
:
#vvvvv#
mount -t overlay overlay \
-o lowerdir=/var/steamcmd,\
upperdir=/var/servers/1/custom,\
workdir=/var/servers/1/overlayWork \
/var/servers/1/steamcmd
Sem esse parâmetro posicional, mount
assumirá que suas opções estão definidas em /etc/fstab
; daí a sua mensagem de erro.