Há muitas coisas a serem consideradas. Os mais importantes são:
MTU
O MTU de um determinado meio dita o tamanho do maior pacote que pode ser enviado para baixo. Em toda a Internet, isso geralmente é de 1500 bytes, embora isso possa variar se outras tecnologias, como o PPPoA, estiverem envolvidas. Se dados maiores que o MTU precisam ser enviados, os dados serão fragmentados em vários pacotes - isso leva tempo.
Sobrecarga
Tudo o que você transmite tem uma sobrecarga - geralmente metadados que descrevem o que você está enviando. O envio de volumes maiores de dados de uma vez reduz essa sobrecarga e, portanto, a largura de banda de rede necessária.
Falhas
Dependendo dos protocolos que você está usando, você pode detectar e compensar os pacotes perdidos. Se volumes maiores de dados forem enviados de uma vez, haverá mais para reenviar em caso de falha. Na mesma linha, se volumes menores de dados forem enviados, haverá uma probabilidade maior de falha.
Requisito
Pode haver um requisito dos aplicativos clientes para obter dados rapidamente ou em massa. Por exemplo, o streaming de vídeo requer uma pequena quantidade de dados o mais rápido possível para o vídeo começar a ser reproduzido. Os sistemas de mensagens, como o IRC, não podem exibir a mensagem até que ela seja totalmente recebida. Como tal, o streaming de vídeo adequa-se a pacotes menores e as mensagens podem atender a pacotes maiores.
Protocolo
O protocolo que você está usando determina o tamanho dos dados a serem enviados. Por exemplo, com o TCP, se você tivesse um tamanho de janela pequeno, teria mais sobrecarga para confirmações. Se você tiver um tamanho de janela grande, você sofre o problema de reenvio de falhas mencionado acima.