De alguma forma eu perdi que há uma opção para desabilitar o redimensionamento automático da exibição de convidados.
Desativar isso, além de definir manualmente o fator de escala funciona bem o suficiente para o que eu preciso, embora não seja perfeito.