O pacote mysql-client permite que você se conecte a um servidor MySQL. Ele lhe dará o programa de linha de comando "mysql".
O pacote mysql-server permite que você execute um servidor MySQL que pode hospedar vários bancos de dados e processar consultas nesses bancos de dados. Ele lhe dará o daemon do MySQL, a.k.a. mysqld.
O pacote "MySQL" provavelmente inclui os dois itens acima.
Se você só precisa se conectar a um servidor remoto e executar consultas, instale apenas o mysql-client. Se você precisar hospedar um banco de dados, instale o cliente e o servidor.