Merge branch 'jekyll-service' into 'rails'

Subir imágenes directo a los sitios

Closes #4987, #4986, #4985, #4984, #4983, #4982, #4981, #4980, #4979, #4978, #4977, #4976, #4908, #4907, #4906, #4892, #4891, #4890, #4889, #4888, #4887, #4886, #4885, #4884, #4883, #4882, #4881, #4879, #4877, #4876, #4875, #4836, #4835, #4833, #4794, #4787, #4767, #4759, #4647, #4606, #4603, #4556, #4553, #4265, #4262, #4259, #4256, #4229, #3554, #3551, #3488, #3487, #3486, #3437, #3356, #3353, #3350, #3347, #2922, #2396, #2393, #2373, #2372, #2371, #2370, #2369, #2368, #1842, #1316, #1315, #1768, #1969, #1970, #2295, #2296, #2297, #2702, #2703, #2705, #2706, #2707, #3557, #3558, #3562, #3856, #4946, #5030, #5032, #5033, #5034, #5036, #5038, #5040, #5042, #5045, #5047, #5048, #5050, #5051, #5053, #5054, #5056, #5057, #5058, #5060, #5061, #3550, #3552, #3553, #3555, #4255, #4257, #4258, #4260, #4261, #4263, #4264, #4266, #4766, #4768, #4786, #4788, #4793, and #4795

See merge request sutty/sutty!78

app/controllers/active_storage/direct_uploads_controller_decorator.rb

@@ -0,0 +1,29 @@
+# frozen_string_literal: true
+
+module ActiveStorage
+  # Modifica la creación de un blob antes de subir el archivo para que
+  # incluya el JekyllService adecuado.
+  module DirectUploadsControllerDecorator
+    extend ActiveSupport::Concern
+
+    included do
+      def create
+        blob = ActiveStorage::Blob.create_before_direct_upload!(service_name: session[:service_name], **blob_args)
+        render json: direct_upload_json(blob)
+      end
+
+      private
+
+      # Normalizar los caracteres unicode en los nombres de archivos
+      # para que puedan propagarse correctamente a través de todo el
+      # stack.
+      def blob_args
+        params.require(:blob).permit(:filename, :byte_size, :checksum, :content_type, metadata: {}).to_h.symbolize_keys.tap do |ba|
+          ba[:filename] = ba[:filename].unicode_normalize
+        end
+      end
+    end
+  end
+end
+
+ActiveStorage::DirectUploadsController.include ActiveStorage::DirectUploadsControllerDecorator

app/controllers/active_storage/disk_controller_decorator.rb

@@ -0,0 +1,33 @@
+# frozen_string_literal: true
+
+module ActiveStorage
+  # Modificar {DiskController} para poder asociar el blob a un sitio
+  module DiskControllerDecorator
+    extend ActiveSupport::Concern
+
+    included do
+      # Asociar el archivo subido al sitio correspondiente.  Cada sitio
+      # tiene su propio servicio de subida de archivos.
+      def update
+        if (token = decode_verified_token)
+          if acceptable_content?(token)
+            named_disk_service(token[:service_name]).upload token[:key], request.body, checksum: token[:checksum]
+
+            blob = ActiveStorage::Blob.find_by_key token[:key]
+            site = Site.find_by_name token[:service_name]
+
+            site.static_files.attach(blob)
+          else
+            head :unprocessable_entity
+          end
+        else
+          head :not_found
+        end
+      rescue ActiveStorage::IntegrityError
+        head :unprocessable_entity
+      end
+    end
+  end
+end
+
+ActiveStorage::DiskController.include ActiveStorage::DiskControllerDecorator

app/controllers/posts_controller.rb

@@ -6,6 +6,7 @@ class PostsController < ApplicationController
   rescue_from Pundit::NilPolicyError, with: :page_not_found
 
   before_action :authenticate_usuarie!
+  before_action :service_for_direct_upload, only: %i[new edit]
 
   # TODO: Traer los comunes desde ApplicationController
   breadcrumb -> { current_usuarie.email }, :edit_usuarie_registration_path
@@ -166,4 +167,9 @@ class PostsController < ApplicationController
   def post
     @post ||= site.posts(lang: locale).find(params[:post_id] || params[:id])
   end
+
+  # Recuerda el nombre del servicio de subida de archivos
+  def service_for_direct_upload
+    session[:service_name] = site.name.to_sym
+  end
 end

app/lib/action_dispatch/http/uploaded_file_decorator.rb

@@ -0,0 +1,21 @@
+# frozen_string_literal: true
+
+module ActionDispatch
+  module Http
+    # Normaliza los nombres de archivo para que se propaguen
+    # correctamente a través de todo el stack.
+    module UploadedFileDecorator
+      extend ActiveSupport::Concern
+
+      included do
+        # Devolver el nombre de archivo con caracteres unicode
+        # normalizados
+        def original_filename
+          @original_filename.unicode_normalize
+        end
+      end
+    end
+  end
+end
+
+ActionDispatch::Http::UploadedFile.include ActionDispatch::Http::UploadedFileDecorator

app/lib/active_storage/attached/changes/create_one_decorator.rb

@@ -0,0 +1,19 @@
+# frozen_string_literal: true
+
+module ActiveStorage
+  module Attached::Changes::CreateOneDecorator
+    extend ActiveSupport::Concern
+
+    included do
+      private
+
+      # A partir de ahora todos los archivos se suben al servicio de
+      # cada sitio.
+      def attachment_service_name
+        record.name.to_sym
+      end
+    end
+  end
+end
+
+ActiveStorage::Attached::Changes::CreateOne.include ActiveStorage::Attached::Changes::CreateOneDecorator

app/lib/active_storage/service/jekyll_service.rb

@@ -0,0 +1,82 @@
+# frozen_string_literal: true
+
+module ActiveStorage
+  class Service
+    # Sube los archivos a cada repositorio y los agrega al LFS de su
+    # repositorio git.
+    #
+    # @todo: Implementar LFS.  No nos gusta mucho la idea porque duplica
+    # el espacio en disco, pero es la única forma que tenemos (hasta que
+    # implementemos IPFS) para poder transferir los archivos junto con el
+    # sitio.
+    class JekyllService < Service::DiskService
+      # Genera un servicio para un sitio determinado
+      #
+      # @param :site [Site]
+      # @return [ActiveStorage::Service::JekyllService]
+      def self.build_for_site(site:)
+        new(root: File.join(site.path, 'public'), public: true).tap do |js|
+          js.name = site.name.to_sym
+        end
+      end
+
+      # Lo mismo que en DiskService agregando el nombre de archivo en la
+      # firma.  Esto permite que luego podamos guardar el archivo donde
+      # corresponde.
+      #
+      # @param :key [String]
+      # @param :expires_in [Integer]
+      # @param :content_type [String]
+      # @param :content_length [Integer]
+      # @param :checksum [String]
+      # @return [String]
+      def url_for_direct_upload(key, expires_in:, content_type:, content_length:, checksum:)
+        instrument :url, key: key do |payload|
+          verified_token_with_expiration = ActiveStorage.verifier.generate(
+            {
+              key: key,
+              content_type: content_type,
+              content_length: content_length,
+              checksum: checksum,
+              service_name: name,
+              filename: filename_for(key)
+            },
+            expires_in: expires_in,
+            purpose: :blob_token
+          )
+
+          generated_url = url_helpers.update_rails_disk_service_url(verified_token_with_expiration, host: current_host)
+
+          payload[:url] = generated_url
+
+          generated_url
+        end
+      end
+
+      # Mantener retrocompatibilidad con cómo gestionamos los archivos
+      # subidos hasta ahora.
+      #
+      # @param :key [String]
+      # @return [String]
+      def folder_for(key)
+        key
+      end
+
+      # Obtiene el nombre de archivo para esta key
+      #
+      # @param :key [String]
+      # @return [String]
+      def filename_for(key)
+        ActiveStorage::Blob.where(key: key).limit(1).pluck(:filename).first
+      end
+
+      # Crea una ruta para la llave con un nombre conocido.
+      #
+      # @param :key [String]
+      # @return [String]
+      def path_for(key)
+        File.join root, folder_for(key), filename_for(key)
+      end
+    end
+  end
+end

app/lib/active_storage/service/registry_decorator.rb

@@ -0,0 +1,31 @@
+# frozen_string_literal: true
+
+module ActiveStorage
+  class Service
+    # Modificaciones a ActiveStorage::Service::Registry
+    module RegistryDecorator
+      extend ActiveSupport::Concern
+
+      included do
+        # El mismo comportamiento que #fetch con el agregado de generar
+        # un {JekyllService} para cada sitio.
+        def fetch(name)
+          services.fetch(name.to_sym) do |key|
+            if configurations.include?(key)
+              services[key] = configurator.build(key)
+            elsif (site = Site.find_by_name(key))
+              services[key] = ActiveStorage::Service::JekyllService.build_for_site(site: site)
+            elsif block_given?
+              yield key
+            else
+              raise KeyError, "Missing configuration for the #{key} Active Storage service. " \
+                              "Configurations available for the #{configurations.keys.to_sentence} services."
+            end
+          end
+        end
+      end
+    end
+  end
+end
+
+ActiveStorage::Service::Registry.include ActiveStorage::Service::RegistryDecorator

app/models/active_storage/blob_decorator.rb

@@ -0,0 +1,26 @@
+# frozen_string_literal: true
+
+module ActiveStorage
+  # Modificaciones a ActiveStorage::Blob
+  module BlobDecorator
+    extend ActiveSupport::Concern
+
+    included do
+      # Permitir que llegue el nombre de archivo al servicio de subida de
+      # archivos.
+      #
+      # @return [Hash]
+      def service_metadata
+        if forcibly_serve_as_binary?
+          { content_type: ActiveStorage.binary_content_type, disposition: :attachment, filename: filename }
+        elsif !allowed_inline?
+          { content_type: content_type, disposition: :attachment, filename: filename }
+        else
+          { content_type: content_type, filename: filename }
+        end
+      end
+    end
+  end
+end
+
+ActiveStorage::Blob.include ActiveStorage::BlobDecorator

app/models/metadata_file.rb

@@ -13,12 +13,18 @@ class MetadataFile < MetadataTemplate
     value == default_value
   end
 
+  # No hay valores sugeridos para archivos subidos.
+  #
+  # XXX: Esto ayuda a deserializar en {Site#everything_of}
+  def values; end
+
   def validate
     super
 
     errors << I18n.t("metadata.#{type}.site_invalid") if site.invalid?
     errors << I18n.t("metadata.#{type}.path_required") if path_missing?
     errors << I18n.t("metadata.#{type}.no_file_for_description") if no_file_for_description?
+    errors << I18n.t("metadata.#{type}.attachment_missing") if path? && !static_file
 
     errors.compact!
     errors.empty?
@@ -34,12 +40,6 @@ class MetadataFile < MetadataTemplate
     value['path'].is_a?(String)
   end
 
-  # Determina si la ruta es opcional pero deja pasar si la ruta se
-  # especifica
-  def path_optional?
-    !required && !path?
-  end
-
   # Asociar la imagen subida al sitio y obtener la ruta
   #
   # XXX: Si evitamos guardar cambios con changed? no tenemos forma de
@@ -48,13 +48,7 @@ class MetadataFile < MetadataTemplate
   # repetida.
   def save
     value['description'] = sanitize value['description']
-
-    if path?
-      hardlink
-      value['path'] = relative_destination_path
-    else
-      value['path'] = nil
-    end
+    value['path'] = static_file ? relative_destination_path_with_filename.to_s : nil
 
     true
   end
@@ -71,101 +65,88 @@ class MetadataFile < MetadataTemplate
   # XXX: La última opción provoca archivos duplicados, pero es lo mejor
   # que tenemos hasta que resolvamos https://0xacab.org/sutty/sutty/-/issues/213
   #
-  # @return [ActiveStorage::Attachment]
+  # @todo encontrar una forma de obtener el attachment sin tener que
+  # recurrir al último subido.
+  #
+  # @return [ActiveStorage::Attachment,nil]
   def static_file
-    return unless path?
-
     @static_file ||=
       case value['path']
       when ActionDispatch::Http::UploadedFile
         site.static_files.last if site.static_files.attach(value['path'])
       when String
-        if (blob = ActiveStorage::Blob.where(key: key_from_path).pluck(:id).first)
-          site.static_files.find_by(blob_id: blob)
-        elsif site.static_files.attach(io: path.open, filename: path.basename)
-          site.static_files.last
+        if (blob_id = ActiveStorage::Blob.where(key: key_from_path).pluck(:id).first)
+          site.static_files.find_by(blob_id: blob_id)
+        elsif path? && pathname.exist? && site.static_files.attach(io: pathname.open, filename: pathname.basename)
+          site.static_files.last.tap do |s|
+            s.blob.update(key: key_from_path)
+          end
         end
       end
   end
 
+  # Obtiene la ruta absoluta al archivo
+  #
+  # @return [Pathname]
+  def pathname
+    raise NoMethodError unless uploaded?
+
+    @pathname ||= Pathname.new(File.join(site.path, value['path']))
+  end
+
+  # Obtiene la key del attachment a partir de la ruta
+  #
+  # @return [String]
   def key_from_path
-    path.dirname.basename.to_s
+    pathname.dirname.basename.to_s
   end
 
   def path?
     value['path'].present?
   end
 
+  def description?
+    value['description'].present?
+  end
+
   private
 
-  def filemagic
-    @filemagic ||= FileMagic.new(FileMagic::MAGIC_MIME)
-  end
-
+  # Obtener la ruta al archivo relativa al sitio
+  #
   # @return [Pathname]
-  def path
-    @path ||= Pathname.new(File.join(site.path, value['path']))
-  end
-
-  def file
-    return unless path?
-
-    @file ||=
-      case value['path']
-      when ActionDispatch::Http::UploadedFile then value['path'].tempfile.path
-      when String then File.join(site.path, value['path'])
-      end
-  end
-
-  # Hacemos un link duro para colocar el archivo dentro del repositorio
-  # y no duplicar el espacio que ocupan.  Esto requiere que ambos
-  # directorios estén dentro del mismo punto de montaje.
-  #
-  # XXX: Asumimos que el archivo destino no existe porque siempre
-  # contiene una key única.
-  #
-  # @return [Boolean]
-  def hardlink
-    return if hardlink?
-    return if File.exist? destination_path
-
-    FileUtils.mkdir_p(File.dirname(destination_path))
-    FileUtils.ln(uploaded_path, destination_path).zero?
-  end
-
-  def hardlink?
-    File.stat(uploaded_path).ino == File.stat(destination_path).ino
-  rescue Errno::ENOENT
-    false
-  end
-
-  # Obtener la ruta al archivo
-  # https://stackoverflow.com/a/53908358
-  def uploaded_relative_path
-    ActiveStorage::Blob.service.path_for(static_file.key)
-  end
-
-  # @return [String]
-  def uploaded_path
-    Rails.root.join uploaded_relative_path
-  end
-
-  # La ruta del archivo mantiene el nombre original pero contiene el
-  # nombre interno y único del archivo para poder relacionarlo con el
-  # archivo subido en Sutty.
-  #
-  # @return [String]
-  def relative_destination_path
-    @relative_destination_path ||= File.join('public', static_file.key, static_file.filename.to_s)
-  end
-
-  # @return [String]
   def destination_path
-    @destination_path ||= File.join(site.path, relative_destination_path)
+    Pathname.new(static_file_path)
+  end
+
+  # Agrega el nombre de archivo a la ruta para tener retrocompatibilidad
+  #
+  # @return [Pathname]
+  def destination_path_with_filename
+    destination_path.realpath
+  # Si el archivo no llegara a existir, en lugar de hacer fallar todo,
+  # devolvemos la ruta original, que puede ser el archivo que no existe
+  # o vacía si se está subiendo uno.
+  rescue Errno::ENOENT => e
+    ExceptionNotifier.notify_exception(e)
+
+    value['path']
+  end
+
+  def relative_destination_path_with_filename
+    destination_path_with_filename.relative_path_from(Pathname.new(site.path).realpath)
+  end
+
+  def static_file_path
+    case static_file.blob.service.name
+    when :local
+      File.join(site.path, 'public', static_file.key, static_file.filename.to_s)
+    else
+      static_file.blob.service.path_for(static_file.key)
+    end
   end
 
   # No hay archivo pero se lo describió
   def no_file_for_description?
-    value['description'].present? && value['path'].blank?
+    !path? && description?
   end
 end

app/models/metadata_image.rb

@@ -5,7 +5,7 @@ class MetadataImage < MetadataFile
   def validate
     super
 
-    errors << I18n.t('metadata.image.not_an_image') unless image?
+    errors << I18n.t('metadata.image.not_an_image') if path? && !image?
 
     errors.compact!
     errors.empty?
@@ -13,8 +13,6 @@ class MetadataImage < MetadataFile
 
   # Determina si es una imagen
   def image?
-    return true unless file
-
-    filemagic.file(file).starts_with? 'image/'
+    static_file&.blob&.send(:web_image?)
   end
 end

app/models/metadata_markdown.rb

@@ -12,6 +12,6 @@ class MetadataMarkdown < MetadataText
   # markdown y se eliminan autolinks.  Mejor es habilitar la generación
   # SAFE de CommonMark en la configuración del sitio.
   def sanitize(string)
-    string
+    string.unicode_normalize
   end
 end

app/models/metadata_markdown_content.rb

@@ -25,6 +25,6 @@ class MetadataMarkdownContent < MetadataText
   # markdown y se eliminan autolinks.  Mejor es deshabilitar la
   # generación SAFE de CommonMark en la configuración del sitio.
   def sanitize(string)
-    string.tr("\r", '')
+    string.tr("\r", '').unicode_normalize
   end
 end

app/models/metadata_permalink.rb

@@ -19,7 +19,7 @@ class MetadataPermalink < MetadataString
   # puntos suspensivos, la primera / para que siempre sea relativa y
   # agregamos una / al final si la ruta no tiene extensión.
   def sanitize(value)
-    value  = value.strip.gsub('..', '/').gsub('./', '').squeeze('/')
+    value  = value.strip.unicode_normalize.gsub('..', '/').gsub('./', '').squeeze('/')
     value  = value[1..-1] if value.start_with? '/'
     value += '/' if File.extname(value).blank?
 

app/models/metadata_string.rb

@@ -17,7 +17,7 @@ class MetadataString < MetadataTemplate
   def sanitize(string)
     return '' if string.blank?
 
-    sanitizer.sanitize(string.strip,
+    sanitizer.sanitize(string.strip.unicode_normalize,
                        tags: [],
                        attributes: []).strip.html_safe
   end

app/models/metadata_template.rb

@@ -184,9 +184,12 @@ MetadataTemplate = Struct.new(:site, :document, :name, :label, :type,
     return if string.nil?
     return string unless string.is_a? String
 
-    sanitizer.sanitize(string.tr("\r", ''),
-                       tags: allowed_tags,
-                       attributes: allowed_attributes).strip.html_safe
+    sanitizer
+      .sanitize(string.tr("\r", '').unicode_normalize,
+                tags: allowed_tags,
+                attributes: allowed_attributes)
+      .strip
+      .html_safe
   end
 
   def sanitizer

app/models/site.rb

@@ -57,7 +57,7 @@ class Site < ApplicationRecord
   # Carga el sitio Jekyll una vez que se inicializa el modelo o después
   # de crearlo
   after_initialize :load_jekyll
-  after_create :load_jekyll, :static_file_migration!
+  after_create :load_jekyll
   # Cambiar el nombre del directorio
   before_update :update_name!
   before_save :add_private_key_if_missing!
@@ -474,11 +474,6 @@ class Site < ApplicationRecord
     config.hostname = hostname
   end
 
-  # Migra los archivos a Sutty
-  def static_file_migration!
-    Site::StaticFileMigration.new(site: self).migrate!
-  end
-
   # Valida si el sitio tiene al menos una forma de alojamiento asociada
   # y es la local
   #

app/models/site/static_file_migration.rb

@@ -1,52 +0,0 @@
-# frozen_string_literal: true
-
-class Site
-  # Obtiene todos los archivos relacionados en artículos del sitio y los
-  # sube a Sutty.
-  class StaticFileMigration
-    # Tipos de metadatos que contienen archivos
-    STATIC_TYPES = %i[file image].freeze
-
-    attr_reader :site
-
-    def initialize(site:)
-      @site = site
-    end
-
-    def migrate!
-      modified = site.docs.map do |doc|
-        next unless STATIC_TYPES.map do |field|
-          next unless doc.attribute? field
-          next unless doc[field].path?
-          next unless doc[field].static_file
-
-          true
-        end.any?
-
-        log.write "#{doc.path.relative};no se pudo guardar\n" unless doc.save(validate: false)
-
-        doc.path.absolute
-      end.compact
-
-      log.close
-
-      return if modified.empty?
-
-      # TODO: Hacer la migración desde el servicio de creación de sitios?
-      site.repository.commit(file: modified,
-                             message: I18n.t('sites.static_file_migration'),
-                             usuarie: author)
-    end
-
-    private
-
-    def author
-      @author ||= GitAuthor.new email: "sutty@#{Site.domain}",
-                                name: 'Sutty'
-    end
-
-    def log
-      @log ||= File.open(File.join(site.path, 'migration.csv'), 'w')
-    end
-  end
-end

config/application.rb

@@ -38,6 +38,12 @@ module Sutty
 
     config.active_storage.variant_processor = :vips
 
+    config.to_prepare do
+      Dir.glob(File.join(File.dirname(__FILE__), '..', 'app', '**', '*_decorator.rb')).sort.each do |c|
+        Rails.configuration.cache_classes ? require(c) : load(c)
+      end
+    end
+
     config.after_initialize do
       ActiveStorage::DirectUploadsController.include ActiveStorage::AuthenticatedDirectUploadsController
 

config/initializers/analyze_job.rb

@@ -1,7 +0,0 @@
-# frozen_string_literal: true
-
-# TODO: Estamos procesando el análisis de los archivos en el momento
-# porque queremos obtener la ruta del archivo en el momento y no
-# después.  Necesitaríamos poder generar el vínculo en el
-# repositorio a destiempo, modificando el Job de ActiveStorage
-ActiveStorage::AnalyzeJob.queue_adapter = :inline

config/locales/en.yml

@@ -41,10 +41,12 @@ en:
       not_an_image: 'Not an image'
       path_required: 'Missing image for upload'
       no_file_for_description: "Description with no associated image"
+      attachment_missing: "I couldn't save the image :("
     file:
       site_invalid: 'The file cannot be stored if the site configuration is not valid'
       path_required: "Missing file for upload"
       no_file_for_description: "Description with no associated file"
+      attachment_missing: "I couldn't save the file :("
     event:
       zone_missing: 'Inexistent timezone'
       date_missing: 'Event date is required'

config/locales/es.yml

@@ -41,10 +41,12 @@ es:
       not_an_image: 'No es una imagen'
       path_required: 'Se necesita una imagen'
       no_file_for_description: 'Se envió una descripción sin imagen asociada'
+      attachment_missing: 'no pude guardar el archivo :('
     file:
       site_invalid: 'El archivo no se puede almacenar si la configuración del sitio no es válida'
       path_required: 'Se necesita un archivo'
       no_file_for_description: 'se envió una descripción sin archivo asociado'
+      attachment_missing: 'no pude guardar el archivo :('
     event:
       zone_missing: 'El huso horario no es correcto'
       date_missing: 'La fecha es obligatoria'