csv import mysql nulo

Question

Eu tenho que importar alguns dados em formato csv para um banco de dados mysql (mariadb). Não há cabeçalho csv e as linhas são assim:

00323acd-7909-41a4-a849-073ca3391dcf,2014-05,\N
00323acd-7909-41a4-a849-073ca3391dcf,2014-05,1

Portanto, eles contêm alguns códigos hexadecimais, uma combinação ano / mês e um valor int opcional. Eu uso o \ N (hex: 5c 4e) para marcar valores NULL (o mysql usa esse estilo para exportar valores nulos também).

LOAD DATA LOCAL INFILE 'path/to/data.csv' INTO TABLE data_table 
FIELDS TERMINATED BY ',' ENCLOSED BY '' 
LINES  TERMINATED BY '\n' (id, @date_time_variable, value) 
SET date = STR_TO_DATE(@date_time_variable, '%Y-%m');

Mas parece que o banco de dados não reconhece os valores Null codificados por \ N \.

Query OK, 38581 rows affected, 14596 warnings (0.54 sec)
Records: 38581  Deleted: 0  Skipped: 0  Warnings: 14596

MariaDB [run5]> show warnings;
+---------+------+-------------------------------------------------------------+
| Level   | Code | Message                                                     |
+---------+------+-------------------------------------------------------------+
' for column 'value' at row 1   |ger value: 'N
' for column 'value' at row 2   |ger value: 'N
' for column 'value' at row 3   |ger value: 'N

O esquema é assim:

CREATE TABLE 'data_table' (
  'id' char(36) NOT NULL,
  'date' date NOT NULL,
  'value' int(11) DEFAULT NULL,
  KEY 'mbid' ('id'),
  KEY 'date' ('date')
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Alguém conhece esse erro ou uma solução?

EDITAR:

aqui está a saída de show warnings \G; :

MariaDB [run5]> show warnings \G;
*************************** 1. row ***************************
  Level: Warning
   Code: 1366
' for column 'value' at row 1lue: 'N
*************************** 2. row ***************************
  Level: Warning
   Code: 1366
' for column 'value' at row 2lue: 'N
*************************** 3. row ***************************
  Level: Warning
   Code: 1366
' for column 'value' at row 3lue: 'N
*************************** 4. row ***************************
  Level: Warning
   Code: 1366
' for column 'value' at row 4lue: 'N
*************************** 5. row ***************************
  Level: Warning
   Code: 1366
' for column 'value' at row 5lue: 'N
...

E aqui está um hexdump do arquivo:

~/D/path ❯❯❯ head -n 2 data/file.csv | hexdump -C                                           master ✱ ◼
00000000  30 30 33 32 33 63 63 64  2d 37 39 30 39 2d 34 31  |00323ccd-7909-41|
00000010  61 34 2d 61 38 34 39 2d  30 37 33 63 61 33 33 39  |a4-a849-073ca339|
00000020  31 64 63 66 2c 32 30 31  34 2d 30 35 2c 5c 4e 0d  |1dcf,2014-05,\N.|
00000030  0a 30 30 33 32 33 63 63  64 2d 37 39 30 39 2d 34  |.00323ccd-7909-4|
00000040  31 61 34 2d 61 38 34 39  2d 30 37 33 63 61 33 33  |1a4-a849-073ca33|
00000050  39 31 64 63 66 2c 32 30  31 34 2d 31 32 2c 5c 4e  |91dcf,2014-12,\N|
00000060  0d 0a                                             |..|
00000062

A terceira linha contém 2c 5c 4e , que significa ,\N e isso está correto, ou não é?

EDIT 2:

Atualizei a consulta porque usei o terminador de linha incorreto ( \n em vez de \r\n ). Agora recebo uma única mensagem de erro sobre esse valor errado:

MariaDB [run5]> LOAD DATA LOCAL INFILE '/path/data.csv' INTO TABLE data_table FIELDS TERMINATED BY ',' ENCLOSED BY '' LINES  TERMINATED BY '\n\r' (id, @date_time_variable, value) SET date = STR_TO_DATE(@date_time_variable, '%Y-%m');
Query OK, 1 row affected, 1 warning (0.01 sec)       
Records: 1  Deleted: 0  Skipped: 0  Warnings: 1

MariaDB [run5]> show warnings \G
*************************** 1. row ***************************
  Level: Warning
   Code: 1366
Message: Incorrect integer value: 'N
00323ccd-7909-41a4-a849-073ca3391dcf' for column 'value' at row 1
1 row in set (0.00 sec)

    

Answer 1

Eu não tentei isso, mas a minha leitura do manual para LOAD DATA INFILE é que a interpretação das seqüências "\ N" é controlada pela cláusula ESCAPED BY, e que o padrão é não executar o processamento da seqüência de escape. Se isso estiver correto, adicionar "ESCAPED BY" à sua consulta deve ter os resultados desejados.

    

Answer 2

Suspeito que os dados que estão sendo importados estão malformados. Especificamente, \N está faltando \ em alguns ou todos os casos.

Verifique se os dados estão corretos. Você pode fazer algo assim:

$ awk -F, '$3=="\N"{print $0}' moo.csv
00323acd-7909-41a4-a849-073ca3391dcf,2014-05,\N

$ awk -F, '$3=="N"{print $0}' moo.csv
00323acd-7909-41a4-a849-073ca3391dcf,2014-05,N

Além disso, a saída de aviso é cortada. Tente a importação novamente e use o seguinte:

show warnings \G