mirror of
https://github.com/catdevnull/preciazo.git
synced 2024-11-26 11:36:20 +00:00
Compare commits
No commits in common. "7e90860aca290a14f4fb8e578f43132db30173dd" and "fbf3cb8d88be595be168e3dd353c5dc1b174a2cc" have entirely different histories.
7e90860aca
...
fbf3cb8d88
10 changed files with 5 additions and 467 deletions
BIN
sepa/bun.lockb
BIN
sepa/bun.lockb
Binary file not shown.
|
|
@ -5,7 +5,6 @@
|
||||||
"sepa-precios-archiver",
|
"sepa-precios-archiver",
|
||||||
"sepa-precios-importer",
|
"sepa-precios-importer",
|
||||||
"sepa-index-gen",
|
"sepa-index-gen",
|
||||||
"sepa-dataset-validator",
|
|
||||||
"ckan"
|
"ckan"
|
||||||
]
|
]
|
||||||
}
|
}
|
||||||
|
|
|
||||||
175
sepa/sepa-dataset-validator/.gitignore
vendored
175
sepa/sepa-dataset-validator/.gitignore
vendored
|
|
@ -1,175 +0,0 @@
|
||||||
# Based on https://raw.githubusercontent.com/github/gitignore/main/Node.gitignore
|
|
||||||
|
|
||||||
# Logs
|
|
||||||
|
|
||||||
logs
|
|
||||||
_.log
|
|
||||||
npm-debug.log_
|
|
||||||
yarn-debug.log*
|
|
||||||
yarn-error.log*
|
|
||||||
lerna-debug.log*
|
|
||||||
.pnpm-debug.log*
|
|
||||||
|
|
||||||
# Caches
|
|
||||||
|
|
||||||
.cache
|
|
||||||
|
|
||||||
# Diagnostic reports (https://nodejs.org/api/report.html)
|
|
||||||
|
|
||||||
report.[0-9]_.[0-9]_.[0-9]_.[0-9]_.json
|
|
||||||
|
|
||||||
# Runtime data
|
|
||||||
|
|
||||||
pids
|
|
||||||
_.pid
|
|
||||||
_.seed
|
|
||||||
*.pid.lock
|
|
||||||
|
|
||||||
# Directory for instrumented libs generated by jscoverage/JSCover
|
|
||||||
|
|
||||||
lib-cov
|
|
||||||
|
|
||||||
# Coverage directory used by tools like istanbul
|
|
||||||
|
|
||||||
coverage
|
|
||||||
*.lcov
|
|
||||||
|
|
||||||
# nyc test coverage
|
|
||||||
|
|
||||||
.nyc_output
|
|
||||||
|
|
||||||
# Grunt intermediate storage (https://gruntjs.com/creating-plugins#storing-task-files)
|
|
||||||
|
|
||||||
.grunt
|
|
||||||
|
|
||||||
# Bower dependency directory (https://bower.io/)
|
|
||||||
|
|
||||||
bower_components
|
|
||||||
|
|
||||||
# node-waf configuration
|
|
||||||
|
|
||||||
.lock-wscript
|
|
||||||
|
|
||||||
# Compiled binary addons (https://nodejs.org/api/addons.html)
|
|
||||||
|
|
||||||
build/Release
|
|
||||||
|
|
||||||
# Dependency directories
|
|
||||||
|
|
||||||
node_modules/
|
|
||||||
jspm_packages/
|
|
||||||
|
|
||||||
# Snowpack dependency directory (https://snowpack.dev/)
|
|
||||||
|
|
||||||
web_modules/
|
|
||||||
|
|
||||||
# TypeScript cache
|
|
||||||
|
|
||||||
*.tsbuildinfo
|
|
||||||
|
|
||||||
# Optional npm cache directory
|
|
||||||
|
|
||||||
.npm
|
|
||||||
|
|
||||||
# Optional eslint cache
|
|
||||||
|
|
||||||
.eslintcache
|
|
||||||
|
|
||||||
# Optional stylelint cache
|
|
||||||
|
|
||||||
.stylelintcache
|
|
||||||
|
|
||||||
# Microbundle cache
|
|
||||||
|
|
||||||
.rpt2_cache/
|
|
||||||
.rts2_cache_cjs/
|
|
||||||
.rts2_cache_es/
|
|
||||||
.rts2_cache_umd/
|
|
||||||
|
|
||||||
# Optional REPL history
|
|
||||||
|
|
||||||
.node_repl_history
|
|
||||||
|
|
||||||
# Output of 'npm pack'
|
|
||||||
|
|
||||||
*.tgz
|
|
||||||
|
|
||||||
# Yarn Integrity file
|
|
||||||
|
|
||||||
.yarn-integrity
|
|
||||||
|
|
||||||
# dotenv environment variable files
|
|
||||||
|
|
||||||
.env
|
|
||||||
.env.development.local
|
|
||||||
.env.test.local
|
|
||||||
.env.production.local
|
|
||||||
.env.local
|
|
||||||
|
|
||||||
# parcel-bundler cache (https://parceljs.org/)
|
|
||||||
|
|
||||||
.parcel-cache
|
|
||||||
|
|
||||||
# Next.js build output
|
|
||||||
|
|
||||||
.next
|
|
||||||
out
|
|
||||||
|
|
||||||
# Nuxt.js build / generate output
|
|
||||||
|
|
||||||
.nuxt
|
|
||||||
dist
|
|
||||||
|
|
||||||
# Gatsby files
|
|
||||||
|
|
||||||
# Comment in the public line in if your project uses Gatsby and not Next.js
|
|
||||||
|
|
||||||
# https://nextjs.org/blog/next-9-1#public-directory-support
|
|
||||||
|
|
||||||
# public
|
|
||||||
|
|
||||||
# vuepress build output
|
|
||||||
|
|
||||||
.vuepress/dist
|
|
||||||
|
|
||||||
# vuepress v2.x temp and cache directory
|
|
||||||
|
|
||||||
.temp
|
|
||||||
|
|
||||||
# Docusaurus cache and generated files
|
|
||||||
|
|
||||||
.docusaurus
|
|
||||||
|
|
||||||
# Serverless directories
|
|
||||||
|
|
||||||
.serverless/
|
|
||||||
|
|
||||||
# FuseBox cache
|
|
||||||
|
|
||||||
.fusebox/
|
|
||||||
|
|
||||||
# DynamoDB Local files
|
|
||||||
|
|
||||||
.dynamodb/
|
|
||||||
|
|
||||||
# TernJS port file
|
|
||||||
|
|
||||||
.tern-port
|
|
||||||
|
|
||||||
# Stores VSCode versions used for testing VSCode extensions
|
|
||||||
|
|
||||||
.vscode-test
|
|
||||||
|
|
||||||
# yarn v2
|
|
||||||
|
|
||||||
.yarn/cache
|
|
||||||
.yarn/unplugged
|
|
||||||
.yarn/build-state.yml
|
|
||||||
.yarn/install-state.gz
|
|
||||||
.pnp.*
|
|
||||||
|
|
||||||
# IntelliJ based IDEs
|
|
||||||
.idea
|
|
||||||
|
|
||||||
# Finder (MacOS) folder config
|
|
||||||
.DS_Store
|
|
||||||
|
|
@ -1,14 +0,0 @@
|
||||||
# sepa-dataset-validator
|
|
||||||
|
|
||||||
un script para validar los datasets de SEPA automaticamente
|
|
||||||
|
|
||||||
basado en [la lista de problemas](https://gist.github.com/catdevnull/587d5c63c4bab11b9798861c917db93b) que encontramos
|
|
||||||
|
|
||||||
para ejecutar, necesitas [Bun](https://bun.sh)
|
|
||||||
|
|
||||||
```bash
|
|
||||||
bun install
|
|
||||||
bun run . [ruta/al/dataset]
|
|
||||||
```
|
|
||||||
|
|
||||||
podes descargar un dump de [nuestro index](https://github.com/catdevnull/sepa-precios-metadata/blob/main/index.md) para analizar (la descarga pesa mucho menos que los oficiales :). para descomprimir, necesitas tener `zstd` y `tar`. después solo tenes que ejecutar `tar xvf ARCHIVO.tar.zst` y listo.
|
|
||||||
|
|
@ -1,26 +0,0 @@
|
||||||
export const ISO_PROVINCIAS = [
|
|
||||||
"AR-C",
|
|
||||||
"AR-B",
|
|
||||||
"AR-K",
|
|
||||||
"AR-H",
|
|
||||||
"AR-U",
|
|
||||||
"AR-X",
|
|
||||||
"AR-W",
|
|
||||||
"AR-E",
|
|
||||||
"AR-P",
|
|
||||||
"AR-Y",
|
|
||||||
"AR-L",
|
|
||||||
"AR-F",
|
|
||||||
"AR-M",
|
|
||||||
"AR-N",
|
|
||||||
"AR-Q",
|
|
||||||
"AR-R",
|
|
||||||
"AR-A",
|
|
||||||
"AR-J",
|
|
||||||
"AR-D",
|
|
||||||
"AR-Z",
|
|
||||||
"AR-S",
|
|
||||||
"AR-G",
|
|
||||||
"AR-V",
|
|
||||||
"AR-T",
|
|
||||||
];
|
|
||||||
|
|
@ -1,169 +0,0 @@
|
||||||
import * as fs from "fs";
|
|
||||||
import { join } from "path";
|
|
||||||
import jschardet from "jschardet";
|
|
||||||
import Papa from "papaparse";
|
|
||||||
import { Comerico, ProductoSegúnSpec } from "./schemas";
|
|
||||||
import { ISO_PROVINCIAS } from "./consts";
|
|
||||||
|
|
||||||
const dir = process.argv[2];
|
|
||||||
|
|
||||||
if (!dir) {
|
|
||||||
console.error("Usage: bun index.ts <directory>");
|
|
||||||
process.exit(1);
|
|
||||||
}
|
|
||||||
|
|
||||||
async function readFiles(dir: string) {
|
|
||||||
const buffers = {
|
|
||||||
"productos.csv": await fs.promises.readFile(join(dir, "productos.csv")),
|
|
||||||
"sucursales.csv": await fs.promises.readFile(join(dir, "sucursales.csv")),
|
|
||||||
"comercio.csv": await fs.promises.readFile(join(dir, "comercio.csv")),
|
|
||||||
};
|
|
||||||
|
|
||||||
let texts: Record<keyof typeof buffers, string> = {
|
|
||||||
"productos.csv": "",
|
|
||||||
"sucursales.csv": "",
|
|
||||||
"comercio.csv": "",
|
|
||||||
};
|
|
||||||
|
|
||||||
let notUtf8 = [];
|
|
||||||
for (const [name, buffer] of Object.entries(buffers)) {
|
|
||||||
const det = jschardet.detect(buffer.subarray(0, 1024 * 1024));
|
|
||||||
if (det.encoding === "ascii") det.encoding = "UTF-8";
|
|
||||||
if (det.encoding !== "UTF-8") {
|
|
||||||
notUtf8.push(name);
|
|
||||||
if (det.encoding === "UTF-16LE") {
|
|
||||||
texts[name as keyof typeof buffers] = buffer.toString("utf-16le");
|
|
||||||
} else throw new Error(`Can't parse encoding ${det.encoding} in ${name}`);
|
|
||||||
} else {
|
|
||||||
texts[name as keyof typeof buffers] = buffer.toString("utf-8");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
if (notUtf8.length > 0) {
|
|
||||||
console.error(`❌ No son UTF-8: ${notUtf8.join(", ")}`);
|
|
||||||
}
|
|
||||||
|
|
||||||
if (texts["productos.csv"].includes("\t")) {
|
|
||||||
console.error(`❌ El archivo productos.csv contiene tabs`);
|
|
||||||
}
|
|
||||||
|
|
||||||
// XXX: cada uno tiene su interpretación de que tildes tiene cada palabra...
|
|
||||||
// vi varias combinaciones de tildes y sin tildes en los archivos de los datasets
|
|
||||||
// estaría bueno chequearlo para verificar que está según spec
|
|
||||||
const regex =
|
|
||||||
/(?:\r?\n *)?\r?\n(?:[ÚU]ltima actualizaci[oó]n): (.+)(?:\r?\n)*$/iu;
|
|
||||||
for (const [name, text] of Object.entries(texts)) {
|
|
||||||
const matches = text.match(regex);
|
|
||||||
if (!matches) {
|
|
||||||
console.error(`❌ [${name}] No pude encontrar la fecha de actualización`);
|
|
||||||
} else {
|
|
||||||
texts[name as keyof typeof buffers] = text.replace(regex, "");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
const csvs = {
|
|
||||||
"productos.csv": Papa.parse(texts["productos.csv"], {
|
|
||||||
header: true,
|
|
||||||
}),
|
|
||||||
"sucursales.csv": Papa.parse(texts["sucursales.csv"], {
|
|
||||||
header: true,
|
|
||||||
}),
|
|
||||||
"comercio.csv": Papa.parse(texts["comercio.csv"], {
|
|
||||||
header: true,
|
|
||||||
}),
|
|
||||||
};
|
|
||||||
|
|
||||||
const comercio = Comerico.parse(csvs["comercio.csv"].data[0]);
|
|
||||||
console.log(
|
|
||||||
` -> CUIT ${comercio.comercio_cuit}: ${comercio.comercio_razon_social}`
|
|
||||||
);
|
|
||||||
if (Object.values(csvs).some((csv) => csv.errors.length > 0)) {
|
|
||||||
console.error(`❌ Hubo errores parseando el CSV`);
|
|
||||||
}
|
|
||||||
return csvs;
|
|
||||||
}
|
|
||||||
|
|
||||||
type Files = Awaited<ReturnType<typeof readFiles>>;
|
|
||||||
|
|
||||||
// si retorna truthy es un error
|
|
||||||
const checkers: Record<string, (files: Files) => boolean | string> = {
|
|
||||||
["[productos.csv] Nombres de columnas incorrectas"](files) {
|
|
||||||
const firstRow = files["productos.csv"].data[0];
|
|
||||||
if (!firstRow) return true;
|
|
||||||
const res = ProductoSegúnSpec.safeParse(firstRow);
|
|
||||||
if (res.error) {
|
|
||||||
for (const [key, value] of Object.entries(res.error.format())) {
|
|
||||||
if (!value) continue;
|
|
||||||
const errors = Array.isArray(value) ? value : value._errors;
|
|
||||||
console.error(` Error en columna ${key}:`, errors.join(", "));
|
|
||||||
}
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
return false;
|
|
||||||
},
|
|
||||||
["Sucursales mencionadas en productos.csv existen en sucursales.csv"](files) {
|
|
||||||
const productos = new Set(
|
|
||||||
files["productos.csv"].data.map((row) => (row as any).id_sucursal)
|
|
||||||
);
|
|
||||||
const sucursales = new Set(
|
|
||||||
files["sucursales.csv"].data.map((row) => (row as any).id_sucursal)
|
|
||||||
);
|
|
||||||
const missing = [...productos].filter((id) => !sucursales.has(id));
|
|
||||||
if (missing.length > 0) {
|
|
||||||
console.error(
|
|
||||||
` Las sucursales ${missing.join(", ")} no existen en sucursales.csv`
|
|
||||||
);
|
|
||||||
}
|
|
||||||
return missing.length > 0;
|
|
||||||
},
|
|
||||||
["Hay productos duplicados con el mismo EAN"](files) {
|
|
||||||
const productosEnSucursales = files["productos.csv"].data
|
|
||||||
.filter((row: any) => row.productos_ean == 1)
|
|
||||||
.map(
|
|
||||||
(row: any) => `${row.id_bandera}-${row.id_sucursal}-${row.id_producto}`
|
|
||||||
);
|
|
||||||
const eansUnicos = new Set(productosEnSucursales);
|
|
||||||
if (productosEnSucursales.length !== eansUnicos.size) return true;
|
|
||||||
return false;
|
|
||||||
},
|
|
||||||
["[sucursales.csv] sucursales_provincia no cumple con ISO 3166-2"](files) {
|
|
||||||
const sucursales = files["sucursales.csv"].data;
|
|
||||||
for (const sucursal of sucursales) {
|
|
||||||
const prov = (sucursal as any).sucursales_provincia;
|
|
||||||
if (!prov) continue;
|
|
||||||
if (!ISO_PROVINCIAS.includes(prov)) {
|
|
||||||
console.error(` La provincia ${prov} no es válida`);
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return false;
|
|
||||||
},
|
|
||||||
};
|
|
||||||
|
|
||||||
const content = await fs.promises.readdir(dir);
|
|
||||||
|
|
||||||
if (content.find((x) => x.endsWith(".csv"))) {
|
|
||||||
await chequearDataset(dir);
|
|
||||||
} else if (content.find((x) => x.startsWith("sepa"))) {
|
|
||||||
for (const subdir of content) {
|
|
||||||
if (!subdir.startsWith("sepa")) continue;
|
|
||||||
console.info(`chequeando ${subdir}...`);
|
|
||||||
await chequearDataset(join(dir, subdir));
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
async function chequearDataset(dir: string) {
|
|
||||||
const files = await readFiles(dir);
|
|
||||||
|
|
||||||
for (const [name, checker] of Object.entries(checkers)) {
|
|
||||||
try {
|
|
||||||
const res = checker(files);
|
|
||||||
if (res) {
|
|
||||||
console.error(`❌ ${name} (${res})`);
|
|
||||||
}
|
|
||||||
} catch (error) {
|
|
||||||
console.error(`❌ ${name}:`, error);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
console.error(`¡Haga patria, arregle su dataset!`);
|
|
||||||
|
|
@ -1,16 +0,0 @@
|
||||||
{
|
|
||||||
"name": "sepa-dataset-validator",
|
|
||||||
"module": "index.ts",
|
|
||||||
"type": "module",
|
|
||||||
"devDependencies": {
|
|
||||||
"@types/bun": "latest"
|
|
||||||
},
|
|
||||||
"peerDependencies": {
|
|
||||||
"typescript": "^5.5.4"
|
|
||||||
},
|
|
||||||
"dependencies": {
|
|
||||||
"jschardet": "^3.1.3",
|
|
||||||
"papaparse": "^5.4.1",
|
|
||||||
"zod": "^3.23.8"
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
@ -1,33 +0,0 @@
|
||||||
import { z } from "zod";
|
|
||||||
|
|
||||||
export const Comerico = z.object({
|
|
||||||
id_comercio: z.string(),
|
|
||||||
id_bandera: z.string(),
|
|
||||||
comercio_cuit: z.string(),
|
|
||||||
comercio_razon_social: z.string(),
|
|
||||||
comercio_bandera_nombre: z.string(),
|
|
||||||
comercio_bandera_url: z.string(),
|
|
||||||
comercio_ultima_actualizacion: z.string(),
|
|
||||||
comercio_version_sepa: z.string().optional(), // no es opcional pero a veces no lo agregan...
|
|
||||||
});
|
|
||||||
|
|
||||||
export const ProductoSegúnSpec = z.object({
|
|
||||||
id_comercio: z.coerce.number(),
|
|
||||||
id_bandera: z.coerce.number(),
|
|
||||||
id_sucursal: z.coerce.number(),
|
|
||||||
id_producto: z.coerce.number(),
|
|
||||||
// 0 es ID interna del comercio, 1 es EAN/UPC-A
|
|
||||||
productos_ean: z.union([z.literal("0"), z.literal("1")]),
|
|
||||||
productos_descripcion: z.string(),
|
|
||||||
productos_cantidad_presentacion: z.coerce.number(),
|
|
||||||
productos_unidad_medida_presentacion: z.string(),
|
|
||||||
productos_marca: z.string(),
|
|
||||||
productos_precio_lista: z.coerce.number(),
|
|
||||||
productos_precio_referencia: z.coerce.number(),
|
|
||||||
productos_cantidad_referencia: z.coerce.number(),
|
|
||||||
productos_unidad_medida_referencia: z.string(),
|
|
||||||
productos_precio_unitario_promo1: z.coerce.number().optional(),
|
|
||||||
productos_leyenda_promo1: z.string().optional(),
|
|
||||||
productos_precio_unitario_promo2: z.coerce.number().optional(),
|
|
||||||
productos_leyenda_promo2: z.string().optional(),
|
|
||||||
});
|
|
||||||
|
|
@ -1,27 +0,0 @@
|
||||||
{
|
|
||||||
"compilerOptions": {
|
|
||||||
// Enable latest features
|
|
||||||
"lib": ["ESNext", "DOM"],
|
|
||||||
"target": "ESNext",
|
|
||||||
"module": "ESNext",
|
|
||||||
"moduleDetection": "force",
|
|
||||||
"jsx": "react-jsx",
|
|
||||||
"allowJs": true,
|
|
||||||
|
|
||||||
// Bundler mode
|
|
||||||
"moduleResolution": "bundler",
|
|
||||||
"allowImportingTsExtensions": true,
|
|
||||||
"verbatimModuleSyntax": true,
|
|
||||||
"noEmit": true,
|
|
||||||
|
|
||||||
// Best practices
|
|
||||||
"strict": true,
|
|
||||||
"skipLibCheck": true,
|
|
||||||
"noFallthroughCasesInSwitch": true,
|
|
||||||
|
|
||||||
// Some stricter flags (disabled by default)
|
|
||||||
"noUnusedLocals": false,
|
|
||||||
"noUnusedParameters": false,
|
|
||||||
"noPropertyAccessFromIndexSignature": false
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
@ -17,14 +17,13 @@ export async function generateMarkdown() {
|
||||||
}))
|
}))
|
||||||
.sort((a, b) => +b.date - +a.date);
|
.sort((a, b) => +b.date - +a.date);
|
||||||
|
|
||||||
let latestResources = new Map<string, Resource & { firstSeenAt: Date }>();
|
let latestResources = new Map<string, Resource>();
|
||||||
|
|
||||||
for (const { date, resources } of datasetsArray) {
|
for (const { date, resources } of datasetsArray) {
|
||||||
for (const resource of resources) {
|
for (const resource of resources) {
|
||||||
const id = `${resource.id}-revID-${resource.revision_id}`;
|
const id = `${resource.id}-revID-${resource.revision_id}`;
|
||||||
const existing = latestResources.get(id);
|
if (latestResources.has(id)) continue;
|
||||||
if (existing && existing.firstSeenAt < date) continue;
|
latestResources.set(id, resource);
|
||||||
latestResources.set(id, { ...resource, firstSeenAt: date });
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
@ -124,7 +123,7 @@ esto esta automáticamente generado por sepa-index-gen dentro de preciazo.`;
|
||||||
const id = `${resource.id}-revID-${resource.revision_id}`;
|
const id = `${resource.id}-revID-${resource.revision_id}`;
|
||||||
const fileExists = fileList.find((file) => file.startsWith(id));
|
const fileExists = fileList.find((file) => file.startsWith(id));
|
||||||
const link =
|
const link =
|
||||||
fileExists &&
|
fileExists ??
|
||||||
`https://f004.backblazeb2.com/file/precios-justos-datasets/${fileExists}`;
|
`https://f004.backblazeb2.com/file/precios-justos-datasets/${fileExists}`;
|
||||||
let warnings = "";
|
let warnings = "";
|
||||||
if (
|
if (
|
||||||
|
|
@ -134,7 +133,7 @@ esto esta automáticamente generado por sepa-index-gen dentro de preciazo.`;
|
||||||
warnings +=
|
warnings +=
|
||||||
"⁉️⚠️ dia de semana incorrecto, puede haberse subido incorrectamente ";
|
"⁉️⚠️ dia de semana incorrecto, puede haberse subido incorrectamente ";
|
||||||
}
|
}
|
||||||
markdown += `\n * ${id} ${warnings} ${fileExists ? `[✅ descargar](${link})` : "❌"} (primera vez visto: ${dateTimeFormatter.format(resource.firstSeenAt)})`;
|
markdown += `\n * ${id} ${warnings} ${fileExists ? `[✅ descargar](${link})` : "❌"} (${dateTimeFormatter.format(resource.modified)})`;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
|
||||||
Loading…
Reference in a new issue