guardar basado en ubicación de data.json y no solo dominio

This commit is contained in:
Cat /dev/Nulo 2023-11-28 21:19:23 -03:00
parent b50a902a52
commit 8cbeba56d4
2 changed files with 3 additions and 3 deletions

View file

@ -65,7 +65,7 @@ for (const url of jsonUrls)
*/
async function downloadFromData(jsonUrlString) {
const jsonUrl = new URL(jsonUrlString);
const outputPath = jsonUrl.host;
const outputPath = `${jsonUrl.host}${jsonUrl.pathname}`.replaceAll("/", "_");
await mkdir(outputPath, { recursive: true });
const errorFile = (
await open(join(outputPath, "errors.jsonl"), "w")

View file

@ -27,7 +27,7 @@ docker run --rm -it -v ./data:/data gitea.nulo.in/nulo/transicion-desordenada-di
## formato de repo guardado
- `{dominio de repo}/`
- `{url de data.json sin protocolo y con / reemplazado por _}/`
- `data.json`
- `errors.jsonl`: archivo con todos los errores que se obtuvieron al intentar descargar todo.
- `{identifier de dataset}/`
@ -36,7 +36,7 @@ docker run --rm -it -v ./data:/data gitea.nulo.in/nulo/transicion-desordenada-di
### ejemplo
- `datos.gob.ar/`
- `datos.gob.ar_data.json/`
- `data.json`
- `errors.jsonl`
- `turismo_fbc269ea-5f71-45b6-b70c-8eb38a03b8db/`