mirror of
https://github.com/catdevnull/preciazo.git
synced 2024-11-22 14:16:19 +00:00
Compare commits
3 commits
1439c3dd1d
...
eb2b68fab0
Author | SHA1 | Date | |
---|---|---|---|
eb2b68fab0 | |||
fe63599e0e | |||
de49cc8688 |
3 changed files with 30 additions and 15 deletions
|
@ -2,6 +2,10 @@
|
||||||
|
|
||||||
scrapeo "masivo" de precios y datos en supermercados argentinos
|
scrapeo "masivo" de precios y datos en supermercados argentinos
|
||||||
|
|
||||||
|
## proyectos similares
|
||||||
|
|
||||||
|
- [ratoneando](https://ratoneando.ar/)
|
||||||
|
|
||||||
## componentes
|
## componentes
|
||||||
|
|
||||||
### scraper-rs
|
### scraper-rs
|
||||||
|
@ -19,6 +23,7 @@ el [sitio](./sitio/) renderiza páginas a partir de la base de datos y hace grá
|
||||||
para el schema de la base de datos y el sitio, es necesario [Node.js](https://nodejs.org/) y [pnpm](https://pnpm.io/). para el scraper, es necesario [Rust](https://www.rust-lang.org/) estable.
|
para el schema de la base de datos y el sitio, es necesario [Node.js](https://nodejs.org/) y [pnpm](https://pnpm.io/). para el scraper, es necesario [Rust](https://www.rust-lang.org/) estable.
|
||||||
|
|
||||||
crea la base de datos:
|
crea la base de datos:
|
||||||
|
|
||||||
```
|
```
|
||||||
cd db-datos/
|
cd db-datos/
|
||||||
pnpm install
|
pnpm install
|
||||||
|
|
|
@ -1,2 +1,4 @@
|
||||||
export { db } from "db-datos/db.js";
|
export { db } from "db-datos/db.js";
|
||||||
export * as schema from "db-datos/schema.js";
|
export * as schema from "db-datos/schema.js";
|
||||||
|
import { migrateDb } from "db-datos/migrate.js";
|
||||||
|
migrateDb();
|
||||||
|
|
|
@ -3,20 +3,9 @@ import { db, schema } from "$lib/server/db";
|
||||||
const { precios } = schema;
|
const { precios } = schema;
|
||||||
import { sql } from "drizzle-orm";
|
import { sql } from "drizzle-orm";
|
||||||
|
|
||||||
let cache: null | { key: Date; data: { precios: Precios } } = null;
|
let cache: Promise<{ key: Date; data: { precios: Precios } }> = doQuery();
|
||||||
|
|
||||||
type Precios = {
|
async function doQuery() {
|
||||||
ean: string;
|
|
||||||
name: string | null;
|
|
||||||
imageUrl: string | null;
|
|
||||||
}[];
|
|
||||||
|
|
||||||
export const load: PageServerLoad = async ({
|
|
||||||
params,
|
|
||||||
}): Promise<{ precios: Precios }> => {
|
|
||||||
if (cache && +new Date() < +cache.key + 1000 * 60 * 10) {
|
|
||||||
return cache.data;
|
|
||||||
}
|
|
||||||
const q = db
|
const q = db
|
||||||
.select({
|
.select({
|
||||||
ean: precios.ean,
|
ean: precios.ean,
|
||||||
|
@ -30,6 +19,25 @@ export const load: PageServerLoad = async ({
|
||||||
.limit(150);
|
.limit(150);
|
||||||
const res = await q;
|
const res = await q;
|
||||||
const data = { precios: res };
|
const data = { precios: res };
|
||||||
cache = { key: new Date(), data };
|
return { key: new Date(), data };
|
||||||
return data;
|
}
|
||||||
|
|
||||||
|
setInterval(
|
||||||
|
async () => {
|
||||||
|
const c = await doQuery();
|
||||||
|
cache = Promise.resolve(c);
|
||||||
|
},
|
||||||
|
4 * 60 * 60 * 1000,
|
||||||
|
);
|
||||||
|
|
||||||
|
type Precios = {
|
||||||
|
ean: string;
|
||||||
|
name: string | null;
|
||||||
|
imageUrl: string | null;
|
||||||
|
}[];
|
||||||
|
|
||||||
|
export const load: PageServerLoad = async ({
|
||||||
|
params,
|
||||||
|
}): Promise<{ precios: Precios }> => {
|
||||||
|
return (await cache).data;
|
||||||
};
|
};
|
||||||
|
|
Loading…
Reference in a new issue