preciazo/readme.md

33 lines
1 KiB
Markdown
Raw Normal View History

2023-12-27 22:55:08 +00:00
# preciazo
scrapeo "masivo" de precios y datos en supermercados argentinos
## componentes (en orden de proceso)
2023-12-31 16:02:47 +00:00
- los link scrapers ([coto-link-scraper](./coto-link-scraper/), [dia-link-scraper](./dia-link-scraper/) y [carrefour-link-scraper](./carrefour-link-scraper)) crean listas de links a productos para scrapear
2023-12-27 22:55:08 +00:00
(no hace falta correrlos porque ya hay listas armadas en [data/](./data/))
2024-01-02 03:21:21 +00:00
- el [scraper](./scraper/) descarga todos los links, extrayendo varios datos y guardandolos en una base de datos SQLite (definida en [db-datos](./db-datos/schema.ts))
2023-12-27 22:55:08 +00:00
- el [sitio](./sitio/) renderiza páginas a partir de la base de datos y hace gráficos lindos
## setup
hay que instalar [Bun](https://bun.sh/), que lo estoy usando porque hacía que el scraper corra más rápido. quizás en el futuro lo reemplace con good old Node.js.
2024-01-02 03:21:21 +00:00
después, escrapea un sample de productos de Carrefour a una BD:
2023-12-27 22:55:08 +00:00
```
cd scraper/
bun install
2024-01-02 03:21:21 +00:00
bun cli.ts scrap ./data/samples/Carrefour.50.txt
2023-12-27 22:55:08 +00:00
```
ahora miralo en el sitio:
```
cd sitio/
bun install
2023-12-30 14:28:14 +00:00
bun dev
2023-12-27 22:55:08 +00:00
```