40 lines
1 KiB
Bash
Executable file
40 lines
1 KiB
Bash
Executable file
#!/bin/sh -e
|
|
|
|
if ! type wget > /dev/null; then
|
|
echo "Te falta instalar wget."
|
|
exit 1
|
|
fi
|
|
if ! type curl > /dev/null; then
|
|
echo "Te falta instalar curl."
|
|
exit 1
|
|
fi
|
|
if ! type lua > /dev/null; then
|
|
echo "Te falta instalar lua."
|
|
exit 1
|
|
fi
|
|
if ! type zstd > /dev/null; then
|
|
echo "Te falta instalar zstd."
|
|
exit 1
|
|
fi
|
|
|
|
echo "¡Gracias por contribuir!"
|
|
|
|
if test -f lista-paginas.zst; then
|
|
echo "Voy a descargar las páginas en lista-paginas.zst."
|
|
echo "> Descomprimiendo lista..."
|
|
zstd -f -d lista-paginas.zst
|
|
echo "Son $(cat lista-paginas | wc -l) páginas."
|
|
echo "> Separando en varias listas..."
|
|
rm -f TMP-lista-shard-*
|
|
lua otros-scripts/shard.lua 64 < ./lista-paginas
|
|
|
|
echo "> Empezando a descargar..."
|
|
mkdir -p datos
|
|
cd datos/
|
|
for lista in ../TMP-lista-shard-*; do
|
|
wget --continue --header='accept-encoding: br' --no-verbose --no-clobber --input-file="$lista" --restrict-file-names=nocontrol &
|
|
done
|
|
else
|
|
echo "No tengo ninguna lista para descargar. ¡Chau!"
|
|
fi
|