updivx/archivador.sh

#!/bin/sh -e

if ! type wget > /dev/null; then
    echo "Te falta instalar wget."
    exit 1
fi
if ! type curl > /dev/null; then
    echo "Te falta instalar curl."
    exit 1
fi
if ! type lua > /dev/null; then
    echo "Te falta instalar lua."
    exit 1
fi
if ! type zstd > /dev/null; then
    echo "Te falta instalar zstd."
    exit 1
fi

echo "¡Gracias por contribuir!"

if test -f lista-paginas.zst; then
    echo "Voy a descargar las páginas en lista-paginas.zst."
    echo "> Descomprimiendo lista..."
    zstd -f -d lista-paginas.zst
    echo "Son $(cat lista-paginas | wc -l) páginas."
    echo "> Separando en varias listas..."
    rm -f TMP-lista-shard-*
    lua otros-scripts/shard.lua 64 < ./lista-paginas

    echo "> Empezando a descargar..."
    mkdir -p datos
    cd datos/
    for lista in ../TMP-lista-shard-*; do 
        wget --continue --header='accept-encoding: br' --no-verbose --no-clobber --input-file="$lista" --restrict-file-names=nocontrol &
    done
else 
    echo "No tengo ninguna lista para descargar. ¡Chau!"
fi