Eu mesmo encontrei a solução, o guia que estava seguindo me levou a acreditar que o pip faria todo o trabalho para mim (ou seja, instalaria todas as dependências necessárias), mas eu precisava instalar as bibliotecas do MySQL Connector C ++ : libmysqlcppconn-dev
). Então eu corri sudo apt-get install libmysqlcppconn-dev
para instalar este pacote e depois sudo pip install oursql
correu sem erro. Então o comentário de Timo estava no caminho certo.