Haverá alguma sobrecarga de processamento para estabelecer a conexão SSL, mas em caixas modernas e sites levemente carregados que provavelmente não serão muito perceptíveis.
Se você tiver fóruns nos quais os usuários estão postando imagens de fora de seu site, as pessoas verão um aviso de conteúdo misto de SSL (seu site é SSL, mas há recursos que não são SSL). Dependendo da sua população de usuários, isso pode assustar algumas pessoas.