Acho que há duas perspectivas de onde isso vem.
(1) perspectiva do desenvolvedor. O IE6 tem muitas ... peculiaridades. Coisas como "se um elemento tiver float: left, sua margem esquerda dobra." Isso significa que as coisas parecem diferentes do que em outro navegador, e leva um tempo excessivo para fazê-las parecerem boas. (Ou até meio decente.) Você pode aprender mais sobre eles aqui .
(2) perspectiva do usuário. Por causa do acima, há muitos sites que não parecem muito bons no IE6. Alguns podem até não ser utilizáveis devido a erros de Javascript. Existem também alguns problemas de segurança variados. Cada vez mais, os principais sites estão descontinuando o suporte ao IE6. (Eu acho que o Facebook e / ou o LinkedIn podem ter. Eu sei que o Livemocha.com é.)