Como .Controls
é uma coleção, você pode chamar $form.Controls.Remove($pictureBox3)
como você diz.
Mas você precisa $form.Refresh()
.
Descobri que isso é um pouco chato se o script ainda estiver sendo processado e talvez não seja realmente atualizado por um segundo.