Como .Controls é uma coleção, você pode chamar $form.Controls.Remove($pictureBox3) como você diz.
Mas você precisa $form.Refresh() .
Descobri que isso é um pouco chato se o script ainda estiver sendo processado e talvez não seja realmente atualizado por um segundo.