O bom pessoal do #nginx no irc.freenode.org me ajudou a entender, foi o que funcionou no final:
server {
listen 80;
server_name preview.mrwonko.de;
index.html;
location / {
root /var/www;
try_files $uri $uri/ @fallback;
}
location @fallback {
root /home/willi/homepage/homepage/output;
}
}