.github/workflows/container.yml

@@ -14,19 +14,16 @@ jobs:
     runs-on: ubuntu-latest
     steps:
       - uses: actions/checkout@v3
-      - uses: pnpm/action-setup@v2
+      - uses: oven-sh/setup-bun@v1
-        with:
-          version: 8
-      - name: Use Node.js 20
-        uses: actions/setup-node@v3
-        with:
-          node-version: 20
-          cache: 'pnpm'
-      - name: Install dependencies
-        run: pnpm install
 
-      - run: pnpm check
+      - run: bun install
         working-directory: ./sitio
+      - run: bun check
+        working-directory: ./sitio
+      - run: bun install
+        working-directory: ./scraper
+      - run: bun check
+        working-directory: ./scraper
 
   build-and-push-sitio:
     needs: check

db-datos/db.ts

@@ -1,6 +1,5 @@
-// @ts-check
+import { Database } from "bun:sqlite";
-import Database from "better-sqlite3";
+import { drizzle } from "drizzle-orm/bun-sqlite";
-import { drizzle } from "drizzle-orm/better-sqlite3";
 import { DB_PATH } from "./drizzle.config.js";
 import { migrateDb } from "./migrate.js";
 import * as schema from "./schema.js";

db-datos/drizzle.config.ts

@@ -1,10 +1,11 @@
+import type { Config } from "drizzle-kit";
+
 export const DB_PATH = process.env.DB_PATH ?? "../scraper/sqlite.db";
 
-/** @type { import("drizzle-kit").Config } */
 export default {
   schema: "./schema.ts",
   out: "./drizzle",
   dbCredentials: {
     url: DB_PATH,
   },
-};
+} satisfies Config;

db-datos/migrate.ts

@@ -1,8 +1,7 @@
-// @ts-check
+import Database from "bun:sqlite";
-import Database from "better-sqlite3";
 import { join, dirname } from "node:path";
-import { drizzle } from "drizzle-orm/better-sqlite3";
+import { drizzle } from "drizzle-orm/bun-sqlite";
-import { migrate } from "drizzle-orm/better-sqlite3/migrator";
+import { migrate } from "drizzle-orm/bun-sqlite/migrator";
 import * as schema from "./schema.js";
 import { DB_PATH } from "./drizzle.config.js";
 
@@ -12,7 +11,7 @@ export function migrateDb() {
   const db = drizzle(sqlite, { schema });
 
   migrate(db, { migrationsFolder: join(dirname(url.pathname), "drizzle") });
-  sqlite.exec(`
+  sqlite.run(`
 pragma journal_mode = WAL;
 PRAGMA synchronous = NORMAL;
 `);

db-datos/package.json

@@ -5,19 +5,16 @@
   "description": "",
   "main": "index.js",
   "scripts": {
-    "generate": "drizzle-kit generate:sqlite",
+    "generate": "drizzle-kit generate:sqlite"
-    "migrate": "node db.js"
   },
   "keywords": [],
   "author": "",
   "license": "ISC",
   "dependencies": {
-    "better-sqlite3": "^9.2.2",
     "drizzle-orm": "^0.29.1"
   },
   "devDependencies": {
-    "@types/better-sqlite3": "^7.6.8",
+    "@types/bun": "^1.0.0",
-    "@types/node": "^20.10.6",
     "drizzle-kit": "^0.20.7"
   }
 }

db-datos/schema.ts

@@ -1,4 +1,3 @@
-// @ts-check
 import { index, integer, sqliteTable, text } from "drizzle-orm/sqlite-core";
 
 export const precios = sqliteTable(
@@ -19,10 +18,10 @@ export const precios = sqliteTable(
     return {
       preciosEanIdx: index("precios_ean_idx").on(precios.ean),
     };
-  },
+  }
 );
 
-/** @typedef {typeof precios.$inferSelect} Precio */
+export type Precio = typeof precios.$inferSelect;
 
 export const productoUrls = sqliteTable("producto_urls", {
   id: integer("id", { mode: "number" }).primaryKey({ autoIncrement: true }),
@@ -31,4 +30,4 @@ export const productoUrls = sqliteTable("producto_urls", {
   lastSeen: integer("last_seen", { mode: "timestamp" }).notNull(),
 });
 
-/** @typedef {typeof productoUrls.$inferSelect} ProductUrl */
+export type ProductUrl = typeof productoUrls.$inferSelect;

package.json

@@ -0,0 +1,10 @@
+{
+  "name": "preciazo",
+  "private": true,
+  "workspaces": [
+    "link-scrapers",
+    "scraper",
+    "sitio",
+    "db-datos"
+  ]
+}

pnpm-workspace.yaml

@@ -1,5 +0,0 @@
-packages:
-  - link-scrapers
-  - scraper
-  - sitio
-  - db-datos

readme.md

@@ -2,40 +2,31 @@
 
 scrapeo "masivo" de precios y datos en supermercados argentinos
 
-## componentes
+## componentes (en orden de proceso)
 
-### scraper-rs
+- los link scrapers ([link-scrapers/](./link-scrapers/)) crean listas de links a productos para scrapear
 
-el [scraper](./scraper-rs/) busca links de productos a scrapear, descarga todos los links, extrae varios datos y los guarda en una base de datos SQLite (definida en [db-datos](./db-datos/schema.ts)).
+  (no hace falta correrlos porque ya hay listas armadas en [data/](./data/))
 
-(antes había un scraper escrito en JavaScript, pero por problemas de _reliability_ lo reescribí en Rust (?))
+- el [scraper](./scraper/) descarga todos los links, extrayendo varios datos y guardandolos en una base de datos SQLite (definida en [db-datos](./db-datos/schema.ts))
-
+- el [sitio](./sitio/) renderiza páginas a partir de la base de datos y hace gráficos lindos
-### sitio
-
-el [sitio](./sitio/) renderiza páginas a partir de la base de datos y hace gráficos lindos.
 
 ## setup
 
-para el schema de la base de datos y el sitio, es necesario [Node.js](https://nodejs.org/) y [pnpm](https://pnpm.io/). para el scraper, es necesario [Rust](https://www.rust-lang.org/) estable.
+hay que instalar [Bun](https://bun.sh/), que lo estoy usando porque hacía que el scraper corra más rápido. quizás en el futuro lo reemplace con good old Node.js.
-
-crea la base de datos:
-```
-cd db-datos/
-pnpm install
-pnpm migrate
-```
 
 después, escrapea un sample de productos de Carrefour a una BD:
 
 ```
-cd ../scraper-rs/
+cd scraper/
-cargo run -- fetch-list ../data/samples/Carrefour.50.txt
+bun install
+bun cli.ts scrap ./data/samples/Carrefour.50.txt
 ```
 
 ahora miralo en el sitio:
 
 ```
-cd ../sitio/
+cd sitio/
-pnpm install
+bun install
-pnpm dev
+bun dev
 ```

scraper/package.json

@@ -24,6 +24,7 @@
     "zod": "^3.22.4"
   },
   "devDependencies": {
+    "@types/bun": "^1.0.0",
     "typescript": "^5.3.3"
   }
 }

sitio/package.json

@@ -5,8 +5,8 @@
   "scripts": {
     "dev": "vite dev",
     "build": "vite build",
-    "build:container": "podman build -t gitea.nulo.in/nulo/preciazo/sitio -f ./Dockerfile ..",
+    "build:container": "podman build -t gitea.nulo.in/nulo/preciazo/sitio -f ./Containerfile ..",
-    "push:container": "pnpm build:container && podman push gitea.nulo.in/nulo/preciazo/sitio",
+    "push:container": "bun build:container && podman push gitea.nulo.in/nulo/preciazo/sitio",
     "preview": "vite preview",
     "check": "svelte-kit sync && svelte-check --tsconfig ./tsconfig.json",
     "check:watch": "svelte-kit sync && svelte-check --tsconfig ./tsconfig.json --watch",