But when I connect to my server and do a df -h I don't see it. Should I mount something to make it work ?
Sim. Você precisa formatar o disco com mkfs e depois montar o disco com mount .
df lista apenas a quantidade de espaço em disco disponível usada pelo sistema de arquivos. Mas um novo disco adicionado não possui um sistema de arquivos.
Para verificar as informações do disco, use fdisk -l .
Nota: Todos esses comandos precisam do privilégio de root.