Se você instalou libgsl-dev , então os cabeçalhos devem estar em /usr/include/gsl/ , portanto o compilador deve ser capaz de localizá-los se você especificar -I/usr/include/gsl
Ou você pode omitir totalmente a diretiva -I se você alterar seu #include para #include <gsl/gsl_randist.h> etc.
Como alternativa, convém usar o pkg-config para localizar os cabeçalhos automaticamente, por exemplo,
gcc -Wall 'pkg-config --cflags gsl' -c gsltest.c