importar sucursales y arreglar cosas

sepa-precios-importer/index.ts

@@ -20,6 +20,32 @@ await sql`
       name TEXT UNIQUE,
       date DATE
   );`;
+await sql`
+    CREATE TABLE if not exists sucursales (
+        id_dataset INTEGER REFERENCES datasets(id),
+        id_comercio INTEGER,
+        id_bandera INTEGER,
+        id_sucursal INTEGER,
+        sucursales_nombre TEXT,
+        sucursales_tipo TEXT,
+        sucursales_calle TEXT,
+        sucursales_numero TEXT,
+        sucursales_latitud NUMERIC,
+        sucursales_longitud NUMERIC,
+        sucursales_observaciones TEXT,
+        sucursales_barrio TEXT,
+        sucursales_codigo_postal TEXT,
+        sucursales_localidad TEXT,
+        sucursales_provincia TEXT,
+        sucursales_lunes_horario_atencion TEXT,
+        sucursales_martes_horario_atencion TEXT,
+        sucursales_miercoles_horario_atencion TEXT,
+        sucursales_jueves_horario_atencion TEXT,
+        sucursales_viernes_horario_atencion TEXT,
+        sucursales_sabado_horario_atencion TEXT,
+        sucursales_domingo_horario_atencion TEXT,
+        UNIQUE (id_dataset, id_comercio, id_bandera, id_sucursal)
+    );`;
 await sql`
   CREATE TABLE if not exists precios (
       id_dataset INTEGER REFERENCES datasets(id),
@@ -39,27 +65,62 @@ await sql`
       productos_precio_unitario_promo1 NUMERIC(10, 2),
       productos_leyenda_promo1 TEXT,
       productos_precio_unitario_promo2 NUMERIC(10, 2),
-      productos_leyenda_promo2 TEXT
+      productos_leyenda_promo2 TEXT,
+      FOREIGN KEY (id_dataset, id_comercio, id_bandera, id_sucursal) REFERENCES sucursales(id_dataset, id_comercio, id_bandera, id_sucursal)
   );
 `;
 
+async function importSucursales(
+  sql: postgres.Sql,
+  datasetId: number,
+  dir: string,
+) {
+  const sucursales: Papa.ParseResult<any> = Papa.parse(
+    await readFile(join(dir, "sucursales.csv"), "utf-8"),
+    {
+      header: true,
+    },
+  );
+
+  const objs = sucursales.data
+    .filter((data) => data.id_comercio && data.id_bandera && data.id_sucursal)
+    .map((data) => {
+      // Megatone
+      if ("sucursales_domingohorario_atencion" in data) {
+        data.sucursales_domingo_horario_atencion =
+          data.sucursales_domingohorario_atencion;
+        delete data.sucursales_domingohorario_atencion;
+      }
+      return {
+        id_dataset: datasetId,
+        ...data,
+      };
+    });
+  const keys = Object.keys(objs[0]);
+  const lines = Readable.from(
+    objs.map((data) => keys.map((key) => (data as any)[key]).join("\t") + "\n"),
+  );
+  const writable =
+    await sql`copy sucursales (${sql.unsafe(keys.join(", "))}) from stdin with CSV DELIMITER E'\t' QUOTE E'\b'`.writable();
+  await pipeline(lines, writable);
+}
+
 async function importDataset(dir: string) {
   const date = basename(dir).match(/(\d{4}-\d{2}-\d{2})/)![1];
   // TODO: parsear "Ultima actualizacion" al final del CSV y insertarlo en la tabla datasets
 
-  return await sql.begin(async () => {
+  // {
-    let datasetId: number;
+  //   const res =
+  //     await sql`select id from datasets where name = ${basename(dir)}`;
+  //   await importSucursales(sql, res[0].id, dir);
+  // }
+
   try {
+    await sql.begin(async (sql) => {
+      let datasetId: number;
       const res =
         await sql`insert into datasets (name, date) values (${basename(dir)}, ${date}) returning id`;
       datasetId = res[0].id;
-    } catch (e) {
-      if ((e as any).code == "23505") {
-        console.log(`dataset ${basename(dir)} already exists`);
-        return;
-      }
-      throw e;
-    }
       const datas: any[] = [];
 
       const comercios: Papa.ParseResult<{ comercio_cuit: string }> = Papa.parse(
@@ -69,6 +130,8 @@ async function importDataset(dir: string) {
       const comercioCuit = comercios.data[0].comercio_cuit;
       console.log(`dataset ${datasetId}, comercio ${comercioCuit}`);
 
+      await importSucursales(sql, datasetId, dir);
+
       let file = await readFile(join(dir, "productos.csv"), "utf-8");
       // WALL OF SHAME: estos proveedores no saben producir CSVs correctos
       if (comercioCuit == "30612929455") {
@@ -78,7 +141,9 @@ async function importDataset(dir: string) {
         // Alberdi S.A.
         file = file.replaceAll(";", "|");
       }
-    if (["33504047089", "30707429468", "30589621499"].includes(comercioCuit)) {
+      if (
+        ["33504047089", "30707429468", "30589621499"].includes(comercioCuit)
+      ) {
         // TODO: si tienen los valores, pero con otros nombres, por ejemplo
         // productos_precio_lista seria precio_unitario_bulto_por_unidad_venta_con_iva.
         // pero no quiero mentir, asi que por ahora no lo importo
@@ -145,6 +210,13 @@ async function importDataset(dir: string) {
         });
       });
     });
+  } catch (e) {
+    if ((e as any).code == "23505") {
+      console.log(`dataset ${basename(dir)} already exists`);
+      return;
+    }
+    throw e;
+  }
 }
 
 try {