Se você tiver um pendrive maior que 4 GB e quiser colocar arquivos grandes nele, tente NTFS. (Você também pode usar Ext [234], mas não poderá lê-lo no Windows, enquanto o NTFS naturalmente funciona no Windows). Não se preocupe mais se o arquivo for maior ou menor que 4 GB.
Alguns programas de formatação gráfica sugerem o NTFS como uma opção, caso contrário, man mkfs.ntfs
deve ser suficiente para você começar.
Primeiro testei o Linux NTFS em um Ubuntu 12.04 e ele sempre funcionou para mim.