Eu encontrei uma solução para esse problema. Obviamente, não foi um problema com o Visual Studio 2010, mas a partir do Windows 10.
Por um motivo que não está claro para mim, o Explorer armazena o tamanho e a localização da janela que não está relacionada a ela de qualquer maneira. Eu rastreei a abertura e o fechamento da janela e estava escrevendo o tamanho das janelas nessa localização.
HKEY_CURRENT_USER \ SOFTWARE \ Microsoft \ Windows \ CurrentVersion \ Explorer \ ComDlg32
infelizmente não há uma maneira fácil de dizer qual ID pertence à janela Add Reference mencionada, então excluí tudo e a janela retornou ao tamanho normal.
No entanto, se você tentar pegar a janela e alterar seu tamanho, poderá aumentá-la, mas não poderá reduzi-la.