Se você está construindo um kernel personalizado, então você já está jogando com recursos que podem ou não funcionar dependendo da versão do GCC (como mencionado por GillieS) e outros fatores. Portanto, decidir ativar o SSE, o MMX e assim por diante provavelmente não apresenta mais "riscos". Basicamente, você precisará testar extensivamente seu kernel personalizado de qualquer maneira, então depende do que você chama de 'seguro'.
Se você está construindo módulos (drivers de dispositivo) para um kernel existente, então você realmente precisa usar o mesmo GCC como o kernel e os CFLAGS selecionados pelos makefiles apropriados ou você está pedindo por problemas.