Pelo menos com o Ristretto 0.6.3, há uma preferência por isso. No menu, selecione "Editar" → "Preferências", vá para a guia "Comportamento" e desmarque a caixa de seleção "Maximizar janela ao inicializar ao abrir uma imagem". Ristretto lembra seu último tamanho de janela, então se ele foi maximizado quando você o abriu pela última vez, ele pode ocupar a tela inteira (mas não maximizada) da próxima vez; redimensionar a janela, e quando você começar de novo, deve ficar com este tamanho menor.
A configuração é armazenada em ~/.config/xfce4/xfconf/xfce-perchannel-xml/ristretto.xml
. Você pode usar este arquivo para ajustá-lo ao tamanho desejado da janela.
<?xml version="1.0" encoding="UTF-8"?>
<channel name="ristretto" version="1.0">
<property name="window" type="empty">
<property name="height" type="uint" value="600"/>
<property name="width" type="uint" value="400"/>
<property name="maximize-on-startup" type="bool" value="false"/>
</property>
</channel>