Eu sugeriria executar linux com um ambiente de desktop leve, como o Xfce .
Mas mais sábio, sim, a experiência do usuário é definitivamente tolerável (talvez com um pouco de paciência), especialmente nos modelos mais novos. A Microsoft até lançou uma versão simplificada do Windows 10 para o pi2 / 3.