O limite de memória é independente do tamanho do POST do qual você faz upload de arquivos. Os arquivos enviados serão analisados diretamente pelo PHP e colocados em uma pasta temporária.
O upload_max_filesize deve ser 100M e seu post_max_size deve ser 100M + a sobrecarga da codificação multiparte. A sobrecarga é baixa, pois é um código binário com um limite. Mesmo com 101MB, funcionará.
Agora, ele ainda pode travar seu script se você fizer $file = file_get_contents('path/to/uploaded/file.ext'); , porque nesse caso o memory_limit será ativado.