Eu encontrei uma solução. Por algum motivo, cores completas só funcionam quando o Xfvb está sendo exibido: 0. Então, isso funciona:
# Run Xfvb
Xfvb :0 -screen 0 1080x1440x24 -nolisten tcp &
export DISPLAY=:0
# Start Firefox.
nohup firefox http://fipla.spiff.xyz:8000/calendar &
FFPID=$!
sleep 3
# Resize the window.
WINDOW_ID='xdotool search --onlyvisible firefox'
echo Window id is $WINDOW_ID
xdotool windowmove $WINDOW_ID 0 0
xdotool windowsize $WINDOW_ID 1080 1440
sleep 1
# Take screenshot.
import -window root -crop 1067x1380+0+72 $DIR/screenshot1.png
kill $FFPID
rm nohup.out