Parece que você está tentando vincular-se às bibliotecas openssl instaladas com o sistema operacional, em vez das bibliotecas homebrew. Tente encontrar onde o homebrew instalou as bibliotecas 1.0.2k.
find /usr/local/Cellar/ -name "libssl.*"
Você deve encontrar algo como / usr / local / Cellar / _path_of some_sort / libssl.a. Tente vincular-se a essa biblioteca em vez das que estão em / usr / lib. As bibliotecas / usr / lib são antigas e não são compatíveis com os arquivos de cabeçalho que você está usando.
gcc md5.c -I/usr/local/Cellar/openssl/1.0.2k/include -L/usr/local/Cellar/path_of_some_sort/ -lssl -lcrypto -o md5