Encontrei uma resposta que funcionou perfeitamente para mim e a qualidade está quase intacta:
ffmpeg -i input_320x240.avi -vf crop=<w>:<h>:<x>:<y> output_300x220.avi
w = largura da saída
h = altura de saída
x = X coordenada da imagem de saída na imagem de entrada
y = Y coordenada da imagem de saída na imagem de entrada