Nulo/updivx
1
0
Fork 0
Code Issues Pull requests Projects Releases Wiki Activity

Shardear por 64 en vez de 16

Browse source
This commit is contained in:
Cat /dev/Nulo 2021-12-01 13:16:23 -03:00
parent ad1268a685
commit f2184e25eb
2 changed files with 2 additions and 2 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

2
archivador.sh
View file

@ -26,7 +26,7 @@ if test -f lista-paginas.zst; then
echo "Son $(cat lista-paginas | wc -l) páginas." echo "Son $(cat lista-paginas | wc -l) páginas."
echo "> Separando en varias listas..." echo "> Separando en varias listas..."
rm -f TMP-lista-shard-* rm -f TMP-lista-shard-*
lua otros-scripts/shard.lua < ./lista-paginas lua otros-scripts/shard.lua 64 < ./lista-paginas
echo "> Empezando a descargar..." echo "> Empezando a descargar..."
for lista in TMP-lista-shard-*; do for lista in TMP-lista-shard-*; do
wget --header='accept-encoding: br' --no-verbose --no-clobber --input-file="$lista" --restrict-file-names=nocontrol & wget --header='accept-encoding: br' --no-verbose --no-clobber --input-file="$lista" --restrict-file-names=nocontrol &

2
otros-scripts/shard.lua
View file

@ -8,7 +8,7 @@ for line in (list):gmatch('[^\r\n]+') do
lineas = lineas + 1 lineas = lineas + 1
end end
local cantidad_de_listas = 16 local cantidad_de_listas = tonumber(arg[1])
local cada_lista = lineas / cantidad_de_listas local cada_lista = lineas / cantidad_de_listas
local listas = {} local listas = {}