Sua configuração
permit setenv { DISPLAY=:0 } nopass user /usr/X11R6/bin/xcalc as TESTUSER
não segue o formato no manual (é de onde vem o erro de sintaxe):
permit|deny [options] identity [as target] [cmd command [args ...]]
O comando deve vir por último:
permit setenv { DISPLAY=:0 } nopass user as TESTUSER cmd /usr/X11R6/bin/xcalc
Em seguida, você precisará invocar doas
as
$ doas -u TESTUSER /usr/X11R6/bin/xcalc