Você está correto e seus colegas estão errados.
Download = Receive data; Upload = Send data
Um servidor pode baixar informações de um cliente. Por exemplo. Quando um usuário está carregando um arquivo em um navegador, o servidor está tecnicamente baixando o mesmo arquivo do computador do cliente. Qual parte iniciou a transação não conta.
Como resolver sua edição:
No seu caso, os dados vão do host para o dispositivo. Assim, para o dispositivo, ele está baixando dados: ele começa sem dados e acaba tendo alguns dados. A parte que escreve os dados para o dispositivo, portanto, faz o upload de dados para ele.
Editar 2:
Uma nota sobre gramática: você pode dizer data is downloaded to the device
ou data is uploaded to the device
. Ambos estão corretos, já que a frase não menciona cujo contexto é usado, é natural como data is transferred to the device
. No contexto da primeira pessoa, você sempre faz o download de de em algum lugar e carrega para em algum lugar.