Estes parecem marcadores no código. Você pode limpá-los, indo para o Editar - > Marcadores - > Limpar marcadores.
Eles são usados para ir a linhas de código específicas. Como um marcador no seu navegador:)
Eu não estou familiarizado com todas as partes fundamentais do VS, então esta será uma questão novata.
De alguma forma eu fiz esses retângulos aparecerem perto dos números das linhas e nem sei como eles são chamados. Então,
Você pode explicar o que eles são usados se você quiser, caso contrário, fornecer o nome será suficiente para eu pesquisar o meu caminho através de:)
Tags visual-studio-2010