Nulo/preciazo
1
0
Fork 0
mirror of https://github.com/catdevnull/preciazo.git synced 2024-11-22 22:26:19 +00:00
Code Issues Projects Releases Packages Wiki Activity

sitio2 v0.0

Browse source
This commit is contained in:
Cat /dev/Nulo 2024-09-14 10:34:36 -03:00
parent 1cba65a910
commit 51a3de40f9
43 changed files with 2574 additions and 69 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

BIN
sepa/bun.lockb
View file

Binary file not shown.

183
sepa/db/schema.ts Normal file
View file

@ -0,0 +1,183 @@
import { max, relations } from "drizzle-orm";
import {
pgTable,
integer,
bigint,
text,
numeric,
unique,
serial,
date,
index,
pgMaterializedView,
pgView,
} from "drizzle-orm/pg-core";
export const datasets = pgTable(
"datasets",
{
id: serial("id").primaryKey().notNull(),
name: text("name"),
date: date("date"),
id_comercio: integer("id_comercio"),
},
(table) => {
return {
datasets_name_key: unique("datasets_name_key").on(table.name),
};
}
);
export const precios = pgTable(
"precios",
{
id_dataset: integer("id_dataset").references(() => datasets.id),
id_comercio: integer("id_comercio"),
id_bandera: integer("id_bandera"),
id_sucursal: integer("id_sucursal"),
// You can use { mode: "bigint" } if numbers are exceeding js number limitations
id_producto: bigint("id_producto", { mode: "bigint" }),
productos_ean: integer("productos_ean"),
productos_descripcion: text("productos_descripcion"),
productos_cantidad_presentacion: numeric(
"productos_cantidad_presentacion",
{
precision: 10,
scale: 2,
}
),
productos_unidad_medida_presentacion: text(
"productos_unidad_medida_presentacion"
),
productos_marca: text("productos_marca"),
productos_precio_lista: numeric("productos_precio_lista", {
precision: 10,
scale: 2,
}),
productos_precio_referencia: numeric("productos_precio_referencia", {
precision: 10,
scale: 2,
}),
productos_cantidad_referencia: numeric("productos_cantidad_referencia", {
precision: 10,
scale: 2,
}),
productos_unidad_medida_referencia: text(
"productos_unidad_medida_referencia"
),
productos_precio_unitario_promo1: numeric(
"productos_precio_unitario_promo1",
{
precision: 10,
scale: 2,
}
),
productos_leyenda_promo1: text("productos_leyenda_promo1"),
productos_precio_unitario_promo2: numeric(
"productos_precio_unitario_promo2",
{
precision: 10,
scale: 2,
}
),
productos_leyenda_promo2: text("productos_leyenda_promo2"),
},
(table) => {
return {
idx_precios_id_producto: index("idx_precios_id_producto").using(
"btree",
table.id_producto
),
idx_precios_id_producto_id_dataset: index(
"idx_precios_id_producto_id_dataset"
).using("btree", table.id_producto, table.id_dataset),
};
}
);
export const sucursales = pgTable(
"sucursales",
{
id_dataset: integer("id_dataset").references(() => datasets.id),
id_comercio: integer("id_comercio"),
id_bandera: integer("id_bandera"),
id_sucursal: integer("id_sucursal"),
sucursales_nombre: text("sucursales_nombre"),
sucursales_tipo: text("sucursales_tipo"),
sucursales_calle: text("sucursales_calle"),
sucursales_numero: text("sucursales_numero"),
sucursales_latitud: numeric("sucursales_latitud"),
sucursales_longitud: numeric("sucursales_longitud"),
sucursales_observaciones: text("sucursales_observaciones"),
sucursales_barrio: text("sucursales_barrio"),
sucursales_codigo_postal: text("sucursales_codigo_postal"),
sucursales_localidad: text("sucursales_localidad"),
sucursales_provincia: text("sucursales_provincia"),
sucursales_lunes_horario_atencion: text(
"sucursales_lunes_horario_atencion"
),
sucursales_martes_horario_atencion: text(
"sucursales_martes_horario_atencion"
),
sucursales_miercoles_horario_atencion: text(
"sucursales_miercoles_horario_atencion"
),
sucursales_jueves_horario_atencion: text(
"sucursales_jueves_horario_atencion"
),
sucursales_viernes_horario_atencion: text(
"sucursales_viernes_horario_atencion"
),
sucursales_sabado_horario_atencion: text(
"sucursales_sabado_horario_atencion"
),
sucursales_domingo_horario_atencion: text(
"sucursales_domingo_horario_atencion"
),
},
(table) => {
return {
sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key: unique(
"sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key"
).on(
table.id_dataset,
table.id_comercio,
table.id_bandera,
table.id_sucursal
),
};
}
);
export const preciosRelations = relations(precios, ({ one }) => ({
dataset: one(datasets, {
fields: [precios.id_dataset],
references: [datasets.id],
}),
}));
export const datasetsRelations = relations(datasets, ({ many }) => ({
precios: many(precios),
sucursales: many(sucursales),
}));
export const sucursalesRelations = relations(sucursales, ({ one }) => ({
dataset: one(datasets, {
fields: [sucursales.id_dataset],
references: [datasets.id],
}),
}));
// para actualizar la tabla:
// insert into productos_descripcion_index
// select distinct id_producto, productos_descripcion, productos_marca from precios
// on conflict do nothing;
// probablemente se pueda poner un where en el select para solo seleccionar precios recientes (tipo id_dataset > X)
export const productos_descripcion_index = pgTable(
"productos_descripcion_index",
{
id_producto: bigint("id_producto", { mode: "bigint" }),
productos_descripcion: text("productos_descripcion").unique(),
productos_marca: text("productos_marca"),
}
);

9
sepa/drizzle.config.ts Normal file
View file

@ -0,0 +1,9 @@
import { defineConfig } from "drizzle-kit";
export default defineConfig({
dialect: "postgresql",
schema: "./db/schema.ts",
out: "./drizzle",
dbCredentials: {
url: process.env.DATABASE_URL!,
},
});

73
sepa/drizzle/0000_round_darwin.sql Normal file
View file

@ -0,0 +1,73 @@
CREATE TABLE IF NOT EXISTS "datasets" (
"id" serial PRIMARY KEY NOT NULL,
"name" text,
"date" date,
CONSTRAINT "datasets_name_key" UNIQUE("name")
);
--> statement-breakpoint
CREATE TABLE IF NOT EXISTS "precios" (
"id_dataset" integer,
"id_comercio" integer,
"id_bandera" integer,
"id_sucursal" integer,
"id_producto" bigint,
"productos_ean" integer,
"productos_descripcion" text,
"productos_cantidad_presentacion" numeric(10, 2),
"productos_unidad_medida_presentacion" text,
"productos_marca" text,
"productos_precio_lista" numeric(10, 2),
"productos_precio_referencia" numeric(10, 2),
"productos_cantidad_referencia" numeric(10, 2),
"productos_unidad_medida_referencia" text,
"productos_precio_unitario_promo1" numeric(10, 2),
"productos_leyenda_promo1" text,
"productos_precio_unitario_promo2" numeric(10, 2),
"productos_leyenda_promo2" text
);
--> statement-breakpoint
CREATE TABLE IF NOT EXISTS "productos_descripcion_index" (
"id_producto" bigint,
"productos_descripcion" text,
"productos_marca" text
);
--> statement-breakpoint
CREATE TABLE IF NOT EXISTS "sucursales" (
"id_dataset" integer,
"id_comercio" integer,
"id_bandera" integer,
"id_sucursal" integer,
"sucursales_nombre" text,
"sucursales_tipo" text,
"sucursales_calle" text,
"sucursales_numero" text,
"sucursales_latitud" numeric,
"sucursales_longitud" numeric,
"sucursales_observaciones" text,
"sucursales_barrio" text,
"sucursales_codigo_postal" text,
"sucursales_localidad" text,
"sucursales_provincia" text,
"sucursales_lunes_horario_atencion" text,
"sucursales_martes_horario_atencion" text,
"sucursales_miercoles_horario_atencion" text,
"sucursales_jueves_horario_atencion" text,
"sucursales_viernes_horario_atencion" text,
"sucursales_sabado_horario_atencion" text,
"sucursales_domingo_horario_atencion" text,
CONSTRAINT "sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key" UNIQUE("id_dataset","id_comercio","id_bandera","id_sucursal")
);
--> statement-breakpoint
DO $$ BEGIN
ALTER TABLE "precios" ADD CONSTRAINT "precios_id_dataset_datasets_id_fk" FOREIGN KEY ("id_dataset") REFERENCES "public"."datasets"("id") ON DELETE no action ON UPDATE no action;
EXCEPTION
WHEN duplicate_object THEN null;
END $$;
--> statement-breakpoint
DO $$ BEGIN
ALTER TABLE "sucursales" ADD CONSTRAINT "sucursales_id_dataset_datasets_id_fk" FOREIGN KEY ("id_dataset") REFERENCES "public"."datasets"("id") ON DELETE no action ON UPDATE no action;
EXCEPTION
WHEN duplicate_object THEN null;
END $$;
--> statement-breakpoint
CREATE INDEX IF NOT EXISTS "idx_precios_id_producto" ON "precios" USING btree ("id_producto");

1
sepa/drizzle/0001_abandoned_paladin.sql Normal file
View file

@ -0,0 +1 @@
ALTER TABLE "productos_descripcion_index" ADD CONSTRAINT "productos_descripcion_index_productos_descripcion_unique" UNIQUE("productos_descripcion");

5
sepa/drizzle/0002_silly_thunderbird.sql Normal file
View file

@ -0,0 +1,5 @@
ALTER TABLE "datasets" ADD COLUMN "id_comercio" integer;
--> statement-breakpoint
UPDATE "datasets"
SET "id_comercio" = CAST(SUBSTRING("name" FROM 'comercio-sepa-(\d+)') AS integer)
WHERE "name" ~ 'comercio-sepa-\d+';

1
sepa/drizzle/0003_strong_bucky.sql Normal file
View file

@ -0,0 +1 @@
CREATE INDEX IF NOT EXISTS "idx_precios_id_producto_id_dataset" ON "precios" USING btree ("id_producto","id_dataset");

395
sepa/drizzle/meta/0000_snapshot.json Normal file
View file

@ -0,0 +1,395 @@
{
"id": "9fc9be78-6665-4cd1-a5f6-d2998c71394a",
"prevId": "00000000-0000-0000-0000-000000000000",
"version": "7",
"dialect": "postgresql",
"tables": {
"public.datasets": {
"name": "datasets",
"schema": "",
"columns": {
"id": {
"name": "id",
"type": "serial",
"primaryKey": true,
"notNull": true
},
"name": {
"name": "name",
"type": "text",
"primaryKey": false,
"notNull": false
},
"date": {
"name": "date",
"type": "date",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"datasets_name_key": {
"name": "datasets_name_key",
"nullsNotDistinct": false,
"columns": [
"name"
]
}
}
},
"public.precios": {
"name": "precios",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_ean": {
"name": "productos_ean",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_presentacion": {
"name": "productos_cantidad_presentacion",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_presentacion": {
"name": "productos_unidad_medida_presentacion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_lista": {
"name": "productos_precio_lista",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_precio_referencia": {
"name": "productos_precio_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_referencia": {
"name": "productos_cantidad_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_referencia": {
"name": "productos_unidad_medida_referencia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo1": {
"name": "productos_precio_unitario_promo1",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo1": {
"name": "productos_leyenda_promo1",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo2": {
"name": "productos_precio_unitario_promo2",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo2": {
"name": "productos_leyenda_promo2",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {
"idx_precios_id_producto": {
"name": "idx_precios_id_producto",
"columns": [
{
"expression": "id_producto",
"isExpression": false,
"asc": true,
"nulls": "last"
}
],
"isUnique": false,
"concurrently": false,
"method": "btree",
"with": {}
}
},
"foreignKeys": {
"precios_id_dataset_datasets_id_fk": {
"name": "precios_id_dataset_datasets_id_fk",
"tableFrom": "precios",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {}
},
"public.productos_descripcion_index": {
"name": "productos_descripcion_index",
"schema": "",
"columns": {
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {}
},
"public.sucursales": {
"name": "sucursales",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"sucursales_nombre": {
"name": "sucursales_nombre",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_tipo": {
"name": "sucursales_tipo",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_calle": {
"name": "sucursales_calle",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_numero": {
"name": "sucursales_numero",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_latitud": {
"name": "sucursales_latitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_longitud": {
"name": "sucursales_longitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_observaciones": {
"name": "sucursales_observaciones",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_barrio": {
"name": "sucursales_barrio",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_codigo_postal": {
"name": "sucursales_codigo_postal",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_localidad": {
"name": "sucursales_localidad",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_provincia": {
"name": "sucursales_provincia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_lunes_horario_atencion": {
"name": "sucursales_lunes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_martes_horario_atencion": {
"name": "sucursales_martes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_miercoles_horario_atencion": {
"name": "sucursales_miercoles_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_jueves_horario_atencion": {
"name": "sucursales_jueves_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_viernes_horario_atencion": {
"name": "sucursales_viernes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_sabado_horario_atencion": {
"name": "sucursales_sabado_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_domingo_horario_atencion": {
"name": "sucursales_domingo_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {
"sucursales_id_dataset_datasets_id_fk": {
"name": "sucursales_id_dataset_datasets_id_fk",
"tableFrom": "sucursales",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key": {
"name": "sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key",
"nullsNotDistinct": false,
"columns": [
"id_dataset",
"id_comercio",
"id_bandera",
"id_sucursal"
]
}
}
}
},
"enums": {},
"schemas": {},
"sequences": {},
"_meta": {
"columns": {},
"schemas": {},
"tables": {}
}
}

403
sepa/drizzle/meta/0001_snapshot.json Normal file
View file

@ -0,0 +1,403 @@
{
"id": "c3ba3fea-1b63-40ef-9ea5-901d354ea6e2",
"prevId": "9fc9be78-6665-4cd1-a5f6-d2998c71394a",
"version": "7",
"dialect": "postgresql",
"tables": {
"public.datasets": {
"name": "datasets",
"schema": "",
"columns": {
"id": {
"name": "id",
"type": "serial",
"primaryKey": true,
"notNull": true
},
"name": {
"name": "name",
"type": "text",
"primaryKey": false,
"notNull": false
},
"date": {
"name": "date",
"type": "date",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"datasets_name_key": {
"name": "datasets_name_key",
"nullsNotDistinct": false,
"columns": [
"name"
]
}
}
},
"public.precios": {
"name": "precios",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_ean": {
"name": "productos_ean",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_presentacion": {
"name": "productos_cantidad_presentacion",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_presentacion": {
"name": "productos_unidad_medida_presentacion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_lista": {
"name": "productos_precio_lista",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_precio_referencia": {
"name": "productos_precio_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_referencia": {
"name": "productos_cantidad_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_referencia": {
"name": "productos_unidad_medida_referencia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo1": {
"name": "productos_precio_unitario_promo1",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo1": {
"name": "productos_leyenda_promo1",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo2": {
"name": "productos_precio_unitario_promo2",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo2": {
"name": "productos_leyenda_promo2",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {
"idx_precios_id_producto": {
"name": "idx_precios_id_producto",
"columns": [
{
"expression": "id_producto",
"isExpression": false,
"asc": true,
"nulls": "last"
}
],
"isUnique": false,
"concurrently": false,
"method": "btree",
"with": {}
}
},
"foreignKeys": {
"precios_id_dataset_datasets_id_fk": {
"name": "precios_id_dataset_datasets_id_fk",
"tableFrom": "precios",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {}
},
"public.productos_descripcion_index": {
"name": "productos_descripcion_index",
"schema": "",
"columns": {
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"productos_descripcion_index_productos_descripcion_unique": {
"name": "productos_descripcion_index_productos_descripcion_unique",
"nullsNotDistinct": false,
"columns": [
"productos_descripcion"
]
}
}
},
"public.sucursales": {
"name": "sucursales",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"sucursales_nombre": {
"name": "sucursales_nombre",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_tipo": {
"name": "sucursales_tipo",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_calle": {
"name": "sucursales_calle",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_numero": {
"name": "sucursales_numero",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_latitud": {
"name": "sucursales_latitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_longitud": {
"name": "sucursales_longitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_observaciones": {
"name": "sucursales_observaciones",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_barrio": {
"name": "sucursales_barrio",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_codigo_postal": {
"name": "sucursales_codigo_postal",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_localidad": {
"name": "sucursales_localidad",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_provincia": {
"name": "sucursales_provincia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_lunes_horario_atencion": {
"name": "sucursales_lunes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_martes_horario_atencion": {
"name": "sucursales_martes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_miercoles_horario_atencion": {
"name": "sucursales_miercoles_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_jueves_horario_atencion": {
"name": "sucursales_jueves_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_viernes_horario_atencion": {
"name": "sucursales_viernes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_sabado_horario_atencion": {
"name": "sucursales_sabado_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_domingo_horario_atencion": {
"name": "sucursales_domingo_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {
"sucursales_id_dataset_datasets_id_fk": {
"name": "sucursales_id_dataset_datasets_id_fk",
"tableFrom": "sucursales",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key": {
"name": "sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key",
"nullsNotDistinct": false,
"columns": [
"id_dataset",
"id_comercio",
"id_bandera",
"id_sucursal"
]
}
}
}
},
"enums": {},
"schemas": {},
"sequences": {},
"_meta": {
"columns": {},
"schemas": {},
"tables": {}
}
}

409
sepa/drizzle/meta/0002_snapshot.json Normal file
View file

@ -0,0 +1,409 @@
{
"id": "4021f198-46b8-4699-a32c-4fbc30fe87d0",
"prevId": "c3ba3fea-1b63-40ef-9ea5-901d354ea6e2",
"version": "7",
"dialect": "postgresql",
"tables": {
"public.datasets": {
"name": "datasets",
"schema": "",
"columns": {
"id": {
"name": "id",
"type": "serial",
"primaryKey": true,
"notNull": true
},
"name": {
"name": "name",
"type": "text",
"primaryKey": false,
"notNull": false
},
"date": {
"name": "date",
"type": "date",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"datasets_name_key": {
"name": "datasets_name_key",
"nullsNotDistinct": false,
"columns": [
"name"
]
}
}
},
"public.precios": {
"name": "precios",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_ean": {
"name": "productos_ean",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_presentacion": {
"name": "productos_cantidad_presentacion",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_presentacion": {
"name": "productos_unidad_medida_presentacion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_lista": {
"name": "productos_precio_lista",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_precio_referencia": {
"name": "productos_precio_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_referencia": {
"name": "productos_cantidad_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_referencia": {
"name": "productos_unidad_medida_referencia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo1": {
"name": "productos_precio_unitario_promo1",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo1": {
"name": "productos_leyenda_promo1",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo2": {
"name": "productos_precio_unitario_promo2",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo2": {
"name": "productos_leyenda_promo2",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {
"idx_precios_id_producto": {
"name": "idx_precios_id_producto",
"columns": [
{
"expression": "id_producto",
"isExpression": false,
"asc": true,
"nulls": "last"
}
],
"isUnique": false,
"concurrently": false,
"method": "btree",
"with": {}
}
},
"foreignKeys": {
"precios_id_dataset_datasets_id_fk": {
"name": "precios_id_dataset_datasets_id_fk",
"tableFrom": "precios",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {}
},
"public.productos_descripcion_index": {
"name": "productos_descripcion_index",
"schema": "",
"columns": {
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"productos_descripcion_index_productos_descripcion_unique": {
"name": "productos_descripcion_index_productos_descripcion_unique",
"nullsNotDistinct": false,
"columns": [
"productos_descripcion"
]
}
}
},
"public.sucursales": {
"name": "sucursales",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"sucursales_nombre": {
"name": "sucursales_nombre",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_tipo": {
"name": "sucursales_tipo",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_calle": {
"name": "sucursales_calle",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_numero": {
"name": "sucursales_numero",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_latitud": {
"name": "sucursales_latitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_longitud": {
"name": "sucursales_longitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_observaciones": {
"name": "sucursales_observaciones",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_barrio": {
"name": "sucursales_barrio",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_codigo_postal": {
"name": "sucursales_codigo_postal",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_localidad": {
"name": "sucursales_localidad",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_provincia": {
"name": "sucursales_provincia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_lunes_horario_atencion": {
"name": "sucursales_lunes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_martes_horario_atencion": {
"name": "sucursales_martes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_miercoles_horario_atencion": {
"name": "sucursales_miercoles_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_jueves_horario_atencion": {
"name": "sucursales_jueves_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_viernes_horario_atencion": {
"name": "sucursales_viernes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_sabado_horario_atencion": {
"name": "sucursales_sabado_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_domingo_horario_atencion": {
"name": "sucursales_domingo_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {
"sucursales_id_dataset_datasets_id_fk": {
"name": "sucursales_id_dataset_datasets_id_fk",
"tableFrom": "sucursales",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key": {
"name": "sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key",
"nullsNotDistinct": false,
"columns": [
"id_dataset",
"id_comercio",
"id_bandera",
"id_sucursal"
]
}
}
}
},
"enums": {},
"schemas": {},
"sequences": {},
"_meta": {
"columns": {},
"schemas": {},
"tables": {}
}
}

430
sepa/drizzle/meta/0003_snapshot.json Normal file
View file

@ -0,0 +1,430 @@
{
"id": "7ea9c123-4d12-4f0b-9452-e8952462fbf8",
"prevId": "4021f198-46b8-4699-a32c-4fbc30fe87d0",
"version": "7",
"dialect": "postgresql",
"tables": {
"public.datasets": {
"name": "datasets",
"schema": "",
"columns": {
"id": {
"name": "id",
"type": "serial",
"primaryKey": true,
"notNull": true
},
"name": {
"name": "name",
"type": "text",
"primaryKey": false,
"notNull": false
},
"date": {
"name": "date",
"type": "date",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"datasets_name_key": {
"name": "datasets_name_key",
"nullsNotDistinct": false,
"columns": [
"name"
]
}
}
},
"public.precios": {
"name": "precios",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_ean": {
"name": "productos_ean",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_presentacion": {
"name": "productos_cantidad_presentacion",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_presentacion": {
"name": "productos_unidad_medida_presentacion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_lista": {
"name": "productos_precio_lista",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_precio_referencia": {
"name": "productos_precio_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_cantidad_referencia": {
"name": "productos_cantidad_referencia",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_unidad_medida_referencia": {
"name": "productos_unidad_medida_referencia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo1": {
"name": "productos_precio_unitario_promo1",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo1": {
"name": "productos_leyenda_promo1",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_precio_unitario_promo2": {
"name": "productos_precio_unitario_promo2",
"type": "numeric(10, 2)",
"primaryKey": false,
"notNull": false
},
"productos_leyenda_promo2": {
"name": "productos_leyenda_promo2",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {
"idx_precios_id_producto": {
"name": "idx_precios_id_producto",
"columns": [
{
"expression": "id_producto",
"isExpression": false,
"asc": true,
"nulls": "last"
}
],
"isUnique": false,
"concurrently": false,
"method": "btree",
"with": {}
},
"idx_precios_id_producto_id_dataset": {
"name": "idx_precios_id_producto_id_dataset",
"columns": [
{
"expression": "id_producto",
"isExpression": false,
"asc": true,
"nulls": "last"
},
{
"expression": "id_dataset",
"isExpression": false,
"asc": true,
"nulls": "last"
}
],
"isUnique": false,
"concurrently": false,
"method": "btree",
"with": {}
}
},
"foreignKeys": {
"precios_id_dataset_datasets_id_fk": {
"name": "precios_id_dataset_datasets_id_fk",
"tableFrom": "precios",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {}
},
"public.productos_descripcion_index": {
"name": "productos_descripcion_index",
"schema": "",
"columns": {
"id_producto": {
"name": "id_producto",
"type": "bigint",
"primaryKey": false,
"notNull": false
},
"productos_descripcion": {
"name": "productos_descripcion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"productos_marca": {
"name": "productos_marca",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"productos_descripcion_index_productos_descripcion_unique": {
"name": "productos_descripcion_index_productos_descripcion_unique",
"nullsNotDistinct": false,
"columns": [
"productos_descripcion"
]
}
}
},
"public.sucursales": {
"name": "sucursales",
"schema": "",
"columns": {
"id_dataset": {
"name": "id_dataset",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_comercio": {
"name": "id_comercio",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_bandera": {
"name": "id_bandera",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"id_sucursal": {
"name": "id_sucursal",
"type": "integer",
"primaryKey": false,
"notNull": false
},
"sucursales_nombre": {
"name": "sucursales_nombre",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_tipo": {
"name": "sucursales_tipo",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_calle": {
"name": "sucursales_calle",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_numero": {
"name": "sucursales_numero",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_latitud": {
"name": "sucursales_latitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_longitud": {
"name": "sucursales_longitud",
"type": "numeric",
"primaryKey": false,
"notNull": false
},
"sucursales_observaciones": {
"name": "sucursales_observaciones",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_barrio": {
"name": "sucursales_barrio",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_codigo_postal": {
"name": "sucursales_codigo_postal",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_localidad": {
"name": "sucursales_localidad",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_provincia": {
"name": "sucursales_provincia",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_lunes_horario_atencion": {
"name": "sucursales_lunes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_martes_horario_atencion": {
"name": "sucursales_martes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_miercoles_horario_atencion": {
"name": "sucursales_miercoles_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_jueves_horario_atencion": {
"name": "sucursales_jueves_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_viernes_horario_atencion": {
"name": "sucursales_viernes_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_sabado_horario_atencion": {
"name": "sucursales_sabado_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
},
"sucursales_domingo_horario_atencion": {
"name": "sucursales_domingo_horario_atencion",
"type": "text",
"primaryKey": false,
"notNull": false
}
},
"indexes": {},
"foreignKeys": {
"sucursales_id_dataset_datasets_id_fk": {
"name": "sucursales_id_dataset_datasets_id_fk",
"tableFrom": "sucursales",
"tableTo": "datasets",
"columnsFrom": [
"id_dataset"
],
"columnsTo": [
"id"
],
"onDelete": "no action",
"onUpdate": "no action"
}
},
"compositePrimaryKeys": {},
"uniqueConstraints": {
"sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key": {
"name": "sucursales_id_dataset_id_comercio_id_bandera_id_sucursal_key",
"nullsNotDistinct": false,
"columns": [
"id_dataset",
"id_comercio",
"id_bandera",
"id_sucursal"
]
}
}
}
},
"enums": {},
"schemas": {},
"sequences": {},
"_meta": {
"columns": {},
"schemas": {},
"tables": {}
}
}

34
sepa/drizzle/meta/_journal.json Normal file
View file

@ -0,0 +1,34 @@
{
"version": "7",
"dialect": "postgresql",
"entries": [
{
"idx": 0,
"version": "7",
"when": 1726278563872,
"tag": "0000_round_darwin",
"breakpoints": true
},
{
"idx": 1,
"version": "7",
"when": 1726279968009,
"tag": "0001_abandoned_paladin",
"breakpoints": true
},
{
"idx": 2,
"version": "7",
"when": 1726281666522,
"tag": "0002_silly_thunderbird",
"breakpoints": true
},
{
"idx": 3,
"version": "7",
"when": 1726283266814,
"tag": "0003_strong_bucky",
"breakpoints": true
}
]
}

67
sepa/importer.ts
View file

@ -13,73 +13,6 @@ const sql = postgres({
database: "sepa-precios", database: "sepa-precios",
}); });
// await sql`
// drop table if exists precios;`;
// await sql`
// drop table if exists datasets;`;
await sql`
CREATE TABLE if not exists datasets (
id SERIAL PRIMARY KEY,
name TEXT UNIQUE,
date DATE
);`;
await sql`
CREATE TABLE if not exists sucursales (
id_dataset INTEGER REFERENCES datasets(id),
id_comercio INTEGER,
id_bandera INTEGER,
id_sucursal INTEGER,
sucursales_nombre TEXT,
sucursales_tipo TEXT,
sucursales_calle TEXT,
sucursales_numero TEXT,
sucursales_latitud NUMERIC,
sucursales_longitud NUMERIC,
sucursales_observaciones TEXT,
sucursales_barrio TEXT,
sucursales_codigo_postal TEXT,
sucursales_localidad TEXT,
sucursales_provincia TEXT,
sucursales_lunes_horario_atencion TEXT,
sucursales_martes_horario_atencion TEXT,
sucursales_miercoles_horario_atencion TEXT,
sucursales_jueves_horario_atencion TEXT,
sucursales_viernes_horario_atencion TEXT,
sucursales_sabado_horario_atencion TEXT,
sucursales_domingo_horario_atencion TEXT,
UNIQUE (id_dataset, id_comercio, id_bandera, id_sucursal)
);`;
await sql`
CREATE TABLE if not exists precios (
id_dataset INTEGER REFERENCES datasets(id),
id_comercio INTEGER,
id_bandera INTEGER,
id_sucursal INTEGER,
id_producto BIGINT,
productos_ean INTEGER,
productos_descripcion TEXT,
productos_cantidad_presentacion NUMERIC(10, 2),
productos_unidad_medida_presentacion TEXT,
productos_marca TEXT,
productos_precio_lista NUMERIC(10, 2),
productos_precio_referencia NUMERIC(10, 2),
productos_cantidad_referencia NUMERIC(10, 2),
productos_unidad_medida_referencia TEXT,
productos_precio_unitario_promo1 NUMERIC(10, 2),
productos_leyenda_promo1 TEXT,
productos_precio_unitario_promo2 NUMERIC(10, 2),
productos_leyenda_promo2 TEXT
);
`;
await sql`
CREATE INDEX IF NOT EXISTS idx_precios_composite ON precios (id_dataset, id_comercio, id_bandera, id_sucursal, id_producto);
`;
await sql`
CREATE INDEX IF NOT EXISTS idx_sucursales_composite ON sucursales (id_dataset, id_comercio, id_bandera, id_sucursal);
`;
async function readFile(path: string) { async function readFile(path: string) {
// XXX: DORINKA SRL a veces envía archivos con UTF-16. // XXX: DORINKA SRL a veces envía archivos con UTF-16.
const buffer = await fs.readFile(path, { encoding: null }); const buffer = await fs.readFile(path, { encoding: null });

9
sepa/package.json
View file

@ -4,7 +4,8 @@
"type": "module", "type": "module",
"devDependencies": { "devDependencies": {
"@types/bun": "^1.1.7", "@types/bun": "^1.1.7",
"@types/papaparse": "^5.3.14" "@types/papaparse": "^5.3.14",
"drizzle-kit": "^0.24.2"
}, },
"peerDependencies": { "peerDependencies": {
"typescript": "^5.0.0" "typescript": "^5.0.0"
@ -13,10 +14,14 @@
"@aws-sdk/client-s3": "^3.651.0", "@aws-sdk/client-s3": "^3.651.0",
"@aws-sdk/lib-storage": "^3.651.0", "@aws-sdk/lib-storage": "^3.651.0",
"date-fns": "^3.6.0", "date-fns": "^3.6.0",
"drizzle-orm": "^0.33.0",
"jschardet": "^3.1.3", "jschardet": "^3.1.3",
"p-queue": "^8.0.1", "p-queue": "^8.0.1",
"papaparse": "^5.4.1", "papaparse": "^5.4.1",
"postgres": "^3.4.4", "postgres": "^3.4.4",
"zod": "^3.23.8" "zod": "^3.23.8"
} },
"workspaces": [
"sitio2"
]
} }

2
sepa/sitio2/.env.example Normal file
View file

@ -0,0 +1,2 @@
# Replace with your DB credentials!
DATABASE_URL="postgres://user:password@host:port/db-name"

21
sepa/sitio2/.gitignore vendored Normal file
View file

@ -0,0 +1,21 @@
node_modules
# Output
.output
.vercel
/.svelte-kit
/build
# OS
.DS_Store
Thumbs.db
# Env
.env
.env.*
!.env.example
!.env.test
# Vite
vite.config.js.timestamp-*
vite.config.ts.timestamp-*

1
sepa/sitio2/.npmrc Normal file
View file

@ -0,0 +1 @@
engine-strict=true

4
sepa/sitio2/.prettierignore Normal file
View file

@ -0,0 +1,4 @@
# Package Managers
package-lock.json
pnpm-lock.yaml
yarn.lock

15
sepa/sitio2/.prettierrc Normal file
View file

@ -0,0 +1,15 @@
{
"useTabs": true,
"singleQuote": true,
"trailingComma": "none",
"printWidth": 100,
"plugins": ["prettier-plugin-svelte", "prettier-plugin-tailwindcss"],
"overrides": [
{
"files": "*.svelte",
"options": {
"parser": "svelte"
}
}
]
}

38
sepa/sitio2/README.md Normal file
View file

@ -0,0 +1,38 @@
# create-svelte
Everything you need to build a Svelte project, powered by [`create-svelte`](https://github.com/sveltejs/kit/tree/main/packages/create-svelte).
## Creating a project
If you're seeing this, you've probably already done this step. Congrats!
```bash
# create a new project in the current directory
npm create svelte@latest
# create a new project in my-app
npm create svelte@latest my-app
```
## Developing
Once you've created a project and installed dependencies with `npm install` (or `pnpm install` or `yarn`), start a development server:
```bash
npm run dev
# or start the server and open the app in a new browser tab
npm run dev -- --open
```
## Building
To create a production version of your app:
```bash
npm run build
```
You can preview the production build with `npm run preview`.
> To deploy your app, you may need to install an [adapter](https://kit.svelte.dev/docs/adapters) for your target environment.

BIN
sepa/sitio2/bun.lockb Executable file
View file

Binary file not shown.

14
sepa/sitio2/drizzle.config.ts Normal file
View file

@ -0,0 +1,14 @@
import { defineConfig } from 'drizzle-kit';
if (!process.env.DATABASE_URL) throw new Error('DATABASE_URL is not set');
export default defineConfig({
schema: './src/lib/server/db/schema.ts',
dbCredentials: {
url: process.env.DATABASE_URL
},
verbose: true,
strict: true,
dialect: 'postgresql'.
});

33
sepa/sitio2/eslint.config.js Normal file
View file

@ -0,0 +1,33 @@
import js from '@eslint/js';
import ts from 'typescript-eslint';
import svelte from 'eslint-plugin-svelte';
import prettier from 'eslint-config-prettier';
import globals from 'globals';
/** @type {import('eslint').Linter.Config[]} */
export default [
js.configs.recommended,
...ts.configs.recommended,
...svelte.configs['flat/recommended'],
prettier,
...svelte.configs['flat/prettier'],
{
languageOptions: {
globals: {
...globals.browser,
...globals.node
}
}
},
{
files: ['**/*.svelte'],
languageOptions: {
parserOptions: {
parser: ts.parser
}
}
},
{
ignores: ['build/', '.svelte-kit/', 'dist/']
}
];

49
sepa/sitio2/package.json Normal file
View file

@ -0,0 +1,49 @@
{
"name": "sitio2",
"version": "0.0.1",
"private": true,
"scripts": {
"dev": "vite dev",
"build": "vite build",
"preview": "vite preview",
"check": "svelte-kit sync && svelte-check --tsconfig ./tsconfig.json",
"check:watch": "svelte-kit sync && svelte-check --tsconfig ./tsconfig.json --watch",
"lint": "prettier --check . && eslint .",
"format": "prettier --write .",
"db:push": "drizzle-kit push",
"db:migrate": "drizzle-kit migrate",
"db:studio": "drizzle-kit studio"
},
"devDependencies": {
"@sveltejs/adapter-auto": "^3.0.0",
"@sveltejs/kit": "^2.0.0",
"@sveltejs/vite-plugin-svelte": "^4.0.0-next.6",
"@tailwindcss/typography": "^0.5.14",
"@types/eslint": "^9.6.0",
"@types/leaflet": "^1.9.12",
"@types/leaflet.markercluster": "^1.5.4",
"autoprefixer": "^10.4.20",
"drizzle-kit": "^0.24.2",
"eslint": "^9.0.0",
"eslint-config-prettier": "^9.1.0",
"eslint-plugin-svelte": "^2.36.0",
"globals": "^15.0.0",
"prettier": "^3.3.2",
"prettier-plugin-svelte": "^3.2.5",
"prettier-plugin-tailwindcss": "^0.6.5",
"svelte": "^5.0.0-next.1",
"svelte-check": "^3.6.0",
"tailwindcss": "^3.4.9",
"typescript": "^5.0.0",
"typescript-eslint": "^8.0.0",
"vite": "^5.0.3"
},
"type": "module",
"dependencies": {
"@types/node": "^22.5.0",
"drizzle-orm": "^0.33.0",
"leaflet": "^1.9.4",
"leaflet.markercluster": "^1.5.3",
"postgres": "^3.4.4"
}
}

6
sepa/sitio2/postcss.config.js Normal file
View file

@ -0,0 +1,6 @@
export default {
plugins: {
tailwindcss: {},
autoprefixer: {}
}
};

3
sepa/sitio2/src/app.css Normal file
View file

@ -0,0 +1,3 @@
@import 'tailwindcss/base';
@import 'tailwindcss/components';
@import 'tailwindcss/utilities';

13
sepa/sitio2/src/app.d.ts vendored Normal file
View file

@ -0,0 +1,13 @@
// See https://kit.svelte.dev/docs/types#app
// for information about these interfaces
declare global {
namespace App {
// interface Error {}
// interface Locals {}
// interface PageData {}
// interface PageState {}
// interface Platform {}
}
}
export {};

12
sepa/sitio2/src/app.html Normal file
View file

@ -0,0 +1,12 @@
<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8" />
<link rel="icon" href="%sveltekit.assets%/favicon.png" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
%sveltekit.head%
</head>
<body data-sveltekit-preload-data="hover">
<div style="display: contents">%sveltekit.body%</div>
</body>
</html>

49
sepa/sitio2/src/lib/components/Map.svelte Normal file
View file

@ -0,0 +1,49 @@
<script lang="ts">
import { onDestroy, onMount, tick } from 'svelte';
import 'leaflet/dist/leaflet.css';
import type L from 'leaflet';
let mapEl: HTMLDivElement;
export let mapMap: (map: L.Map, l: typeof L) => void;
let map: L.Map | undefined;
onMount(async () => {
const L = await import('leaflet');
const L1 = await import('leaflet.markercluster');
// Set up initial map center and zoom level
map = L.map(mapEl, {
center: [-34.599722222222, -58.381944444444], // EDIT latitude, longitude to re-center map
zoom: 9, // EDIT from 1 to 18 -- decrease to zoom out, increase to zoom in
scrollWheelZoom: true, // Changed to true to enable zoom with scrollwheel
tap: false
});
/* Control panel to display map layers */
// var controlLayers = L.control.layers( null, null, {
// position: "topright",
// collapsed: false
// }).addTo(map);
// display Carto basemap tiles with light features and labels
L.tileLayer('https://{s}.basemaps.cartocdn.com/light_all/{z}/{x}/{y}{r}.png', {
attribution:
'&copy; <a href="http://www.openstreetmap.org/copyright">OpenStreetMap</a>, &copy; <a href="https://carto.com/attribution">CARTO</a>'
}).addTo(map);
mapMap(map, L);
});
onDestroy(() => {
map?.remove();
map = undefined;
});
</script>
<div class="map" bind:this={mapEl}></div>
<style>
.map {
width: 100%;
height: 100%;
min-height: 500px;
}
</style>

11
sepa/sitio2/src/lib/server/db/index.ts Normal file
View file

@ -0,0 +1,11 @@
import { drizzle } from 'drizzle-orm/postgres-js';
import postgres from 'postgres';
import { env } from '$env/dynamic/private';
import * as schema from './schema';
if (!env.DATABASE_URL) throw new Error('DATABASE_URL is not set');
export const sql = postgres(env.DATABASE_URL);
export const db = drizzle(sql, {
schema,
logger: true
});

1
sepa/sitio2/src/lib/server/db/schema.ts Normal file
View file

@ -0,0 +1 @@
export * from '../../../../../db/schema';

5
sepa/sitio2/src/routes/+layout.svelte Normal file
View file

@ -0,0 +1,5 @@
<script>
import '../app.css';
</script>
<slot></slot>

15
sepa/sitio2/src/routes/+page.server.ts Normal file
View file

@ -0,0 +1,15 @@
import { sql } from '$lib/server/db';
import type { PageServerLoad } from './$types';
export const load: PageServerLoad = async () => {
// https://www.cybertec-postgresql.com/en/postgresql-count-made-fast/
const count = await sql`
SELECT reltuples::bigint
FROM pg_catalog.pg_class
WHERE relname = 'precios';
`;
return {
count: count[0].reltuples
};
};

10
sepa/sitio2/src/routes/+page.svelte Normal file
View file

@ -0,0 +1,10 @@
<script lang="ts">
import type { PageData } from './$types';
export let data: PageData;
</script>
<h1 class="flex text-3xl font-bold">
preciazo<small class="text-xs">alpha</small>
</h1>
<h2>actualmente tengo {data.count} registros de precios</h2>

94
sepa/sitio2/src/routes/id_producto/[id]/+page.server.ts Normal file
View file

@ -0,0 +1,94 @@
import { db } from '$lib/server/db';
import type { PageServerLoad } from './$types';
import { precios, sucursales } from '$lib/server/db/schema';
import { and, eq, sql } from 'drizzle-orm';
export const load: PageServerLoad = async ({ params }) => {
const preciosRes = await db
.select({
id_comercio: precios.id_comercio,
id_bandera: precios.id_bandera,
id_sucursal: precios.id_sucursal,
id_dataset: precios.id_dataset,
productos_precio_lista: precios.productos_precio_lista,
productos_descripcion: precios.productos_descripcion,
sucursales_latitud: sucursales.sucursales_latitud,
sucursales_longitud: sucursales.sucursales_longitud,
sucursales_nombre: sucursales.sucursales_nombre,
})
.from(precios)
.where(
and(
eq(precios.id_producto, BigInt(params.id)),
sql`${precios.id_dataset} IN (
SELECT d1.id
FROM datasets d1
JOIN (
SELECT id_comercio, MAX(date) as max_date
FROM datasets
GROUP BY id_comercio
) d2 ON d1.id_comercio = d2.id_comercio AND d1.date = d2.max_date
ORDER BY d1.id_comercio)
`
)
)
.leftJoin(sucursales, and(eq(sucursales.id_dataset, precios.id_dataset), eq(sucursales.id_sucursal, precios.id_sucursal), eq(sucursales.id_comercio, precios.id_comercio)));
// const precios = await sql<
// {
// productos_precio_lista: number;
// productos_descripcion: string;
// id_dataset: string;
// sucursales_latitud: number;
// sucursales_longitud: number;
// sucursales_nombre: string;
// }[]
// >`
// WITH latest_prices AS (
// SELECT
// p.id_comercio,
// p.id_bandera,
// p.id_sucursal,
// p.id_dataset,
// p.productos_precio_lista,
// p.productos_descripcion
// FROM precios p
// INNER JOIN (
// SELECT
// id_comercio,
// id_bandera,
// id_sucursal,
// MAX(id_dataset) AS max_dataset
// FROM precios
// WHERE id_producto = ${id}
// GROUP BY id_comercio, id_bandera, id_sucursal
// ) latest ON p.id_comercio = latest.id_comercio
// AND p.id_bandera = latest.id_bandera
// AND p.id_sucursal = latest.id_sucursal
// AND p.id_dataset = latest.max_dataset
// WHERE p.id_producto = ${id}
// )
// SELECT
// lp.productos_precio_lista,
// lp.productos_descripcion,
// lp.id_dataset,
// s.sucursales_latitud,
// s.sucursales_longitud,
// s.sucursales_nombre
// FROM latest_prices lp
// LEFT JOIN sucursales s ON lp.id_dataset = s.id_dataset
// AND lp.id_sucursal = s.id_sucursal
// AND lp.id_comercio = s.id_comercio
// `;
return {
precios:preciosRes.map(p => ({
...p,
productos_precio_lista: parseFloat(p.productos_precio_lista ?? '0'),
sucursales_latitud: parseFloat(p.sucursales_latitud ?? '0'),
sucursales_longitud: parseFloat(p.sucursales_longitud ?? '0'),
}))
};
};

61
sepa/sitio2/src/routes/id_producto/[id]/+page.svelte Normal file
View file

@ -0,0 +1,61 @@
<script lang="ts">
import type { PageData } from './$types';
import Map from '$lib/components/Map.svelte';
export let data: PageData;
</script>
<h1>Producto {data.precios[0].productos_descripcion}</h1>
<h2>cantidad de precios: {data.precios.length}</h2>
<div class="h-[80vh]">
<Map
mapMap={(map, L) => {
// var markers = L.MarkerClusterGroup();
const myRenderer = L.canvas({ padding: 0.5 });
const prices = data.precios.map((p) => p.productos_precio_lista);
const sortedPrices = prices.sort((a, b) => a - b);
const q1Index = Math.floor(sortedPrices.length * 0.1);
const q3Index = Math.floor(sortedPrices.length * 0.9);
const iqr = sortedPrices[q3Index] - sortedPrices[q1Index];
const lowerBound = sortedPrices[q1Index] - 1.5 * iqr;
const upperBound = sortedPrices[q3Index] + 1.5 * iqr;
const filteredPrices = sortedPrices.filter((p) => p >= lowerBound && p <= upperBound);
const min = Math.min(...filteredPrices);
const max = Math.max(...filteredPrices);
console.log({ min, max, outliers: prices.length - filteredPrices.length });
// For each row in data, create a marker and add it to the map
// For each row, columns `Latitude`, `Longitude`, and `Title` are required
for (const precio of data.precios) {
const normalizedPrice = (precio.productos_precio_lista - min) / (max - min);
// const l = 0.8 - normalizedPrice * 0.8; // Lightness decreases as price increases
// const a = -0.2 + normalizedPrice * 0.4; // Green to red
// const b = 0.2 - normalizedPrice * 0.4; // Yellow to blue
const color = `color-mix(in lab, yellow, red ${normalizedPrice * 100}%)`;
// const color = `oklch(${l} ${Math.sqrt(a * a + b * b)} ${Math.atan2(b, a)})`;
// console.log(row)
var marker = L.circleMarker([precio.sucursales_latitud, precio.sucursales_longitud], {
opacity: 1,
renderer: myRenderer,
color,
radius: 5
// riseOnHover: false,
// riseOffset: 0
})
.bindPopup(
`precio: ${precio.productos_precio_lista}<br>sucursal: ${precio.sucursales_nombre}<br>descripcion: ${precio.productos_descripcion}`
)
.addTo(map);
marker.on('click', function(this: L.CircleMarker) {
this.openPopup();
});
// markers.addLayer(marker);
}
// map.addLayer(markers);
}}
/>
</div>

98
sepa/sitio2/src/routes/search/[query]/+page.server.ts Normal file
View file

@ -0,0 +1,98 @@
import { db } from '$lib/server/db';
import { sql } from 'drizzle-orm';
import type { PageServerLoad } from './$types';
export const load: PageServerLoad = async ({ params }) => {
// const latestDatasetsSq = db.$with('latest_datasets').as(
// db.select({
// id: datasets.id,
// }).from(datasets)
// .innerJoin(
// db.select({
// id_comercio: datasets.id_comercio,
// max_date: max(datasets.date),
// }).from(d2).groupBy(datasets.id_comercio),
// and(eq(datasets.id_comercio, d2.id_comercio), eq(datasets.date, d2.max_date))
// // 'datasets.id_comercio = latest_datasets.id_comercio AND datasets.date = latest_datasets.max_date'
// ))
const query = params.query;
const productos = await db.execute(sql`
SELECT id_producto, productos_descripcion, productos_marca
FROM productos_descripcion_index index
WHERE productos_descripcion ILIKE ${`%${query}%`}
ORDER BY
(WITH latest_datasets AS (
SELECT d1.id
FROM datasets d1
JOIN (
SELECT id_comercio, MAX(date) as max_date
FROM datasets
GROUP BY id_comercio
) d2 ON d1.id_comercio = d2.id_comercio AND d1.date = d2.max_date
)SELECT COUNT(DISTINCT p.id_dataset) as dataset_count
FROM precios p
JOIN latest_datasets ld ON p.id_dataset = ld.id
WHERE p.id_producto = index.id_producto) desc
`)
// 'latest_datasets',
// sql`
// WITH latest_datasets AS (
// SELECT d1.id
// FROM datasets d1
// JOIN (
// SELECT id_comercio, MAX(date) as max_date
// FROM datasets
// GROUP BY id_comercio
// ) d2 ON d1.id_comercio = d2.id_comercio AND d1.date = d2.max_date
// )`
// .select({
// id_producto: productos_descripcion_index.id_producto,
// productos_descripcion: productos_descripcion_index.productos_descripcion,
// productos_marca: productos_descripcion_index.productos_marca,
// })
// .from(productos_descripcion_index)
// .where(ilike(productos_descripcion_index.productos_descripcion, `%${query}%`))
// .orderBy(sql`
// WITH latest_datasets AS (
// SELECT d1.id
// FROM datasets d1
// JOIN (
// SELECT id_comercio, MAX(date) as max_date
// FROM datasets
// GROUP BY id_comercio
// ) d2 ON d1.id_comercio = d2.id_comercio AND d1.date = d2.max_date
// )
// SELECT COUNT(DISTINCT p.id_dataset) as dataset_count
// FROM precios p
// JOIN latest_datasets ld ON p.id_dataset = ld.id
// WHERE p.id_producto = ${productos_descripcion_index.id_producto}`);
return { productos };
// const precios = await sql<
// {
// id_producto: string;
// productos_precio_lista: number;
// productos_descripcion: string;
// }[]
// >`
// WITH latest_prices AS (
// SELECT DISTINCT ON (id_comercio, id_producto)
// id_comercio,
// id_producto,
// productos_precio_lista,
// productos_descripcion
// FROM precios
// )
// SELECT
// id_producto,
// productos_precio_lista,
// productos_descripcion
// FROM latest_prices
// WHERE productos_descripcion ILIKE ${`%${query}%`}
// `;
// return {
// precios
// };
};

15
sepa/sitio2/src/routes/search/[query]/+page.svelte Normal file
View file

@ -0,0 +1,15 @@
<script lang="ts">
import type { PageData } from './$types';
export let data: PageData;
</script>
<ul>
{#each data.productos as producto}
<li>
<a href={`/id_producto/${producto.id_producto}`}
>{producto.productos_marca} - {producto.productos_descripcion}</a
>
</li>
{/each}
</ul>

BIN
sepa/sitio2/static/favicon.png Normal file
View file

Binary file not shown.
Side by side

After

Width:  |  Height:  |  Size: 1.5 KiB

18
sepa/sitio2/svelte.config.js Normal file
View file

@ -0,0 +1,18 @@
import adapter from '@sveltejs/adapter-auto';
import { vitePreprocess } from '@sveltejs/vite-plugin-svelte';
/** @type {import('@sveltejs/kit').Config} */
const config = {
// Consult https://kit.svelte.dev/docs/integrations#preprocessors
// for more information about preprocessors
preprocess: vitePreprocess(),
kit: {
// adapter-auto only supports some environments, see https://kit.svelte.dev/docs/adapter-auto for a list.
// If your environment is not supported, or you settled on a specific environment, switch out the adapter.
// See https://kit.svelte.dev/docs/adapters for more information about adapters.
adapter: adapter()
}
};
export default config;

11
sepa/sitio2/tailwind.config.ts Normal file
View file

@ -0,0 +1,11 @@
import type { Config } from 'tailwindcss';
export default {
content: ['./src/**/*.{html,js,svelte,ts}'],
theme: {
extend: {}
},
plugins: [require('@tailwindcss/typography')]
} as Config;

19
sepa/sitio2/tsconfig.json Normal file
View file

@ -0,0 +1,19 @@
{
"extends": "./.svelte-kit/tsconfig.json",
"compilerOptions": {
"allowJs": true,
"checkJs": true,
"esModuleInterop": true,
"forceConsistentCasingInFileNames": true,
"resolveJsonModule": true,
"skipLibCheck": true,
"sourceMap": true,
"strict": true,
"moduleResolution": "bundler"
}
// Path aliases are handled by https://kit.svelte.dev/docs/configuration#alias
// except $lib which is handled by https://kit.svelte.dev/docs/configuration#files
//
// If you want to overwrite includes/excludes, make sure to copy over the relevant includes/excludes
// from the referenced tsconfig.json - TypeScript does not merge them in
}

6
sepa/sitio2/vite.config.ts Normal file
View file

@ -0,0 +1,6 @@
import { sveltekit } from '@sveltejs/kit/vite';
import { defineConfig } from 'vite';
export default defineConfig({
plugins: [sveltekit()]
});