Big Data normalmente se asocia únicamente al tamaño de la data, pero es muchas que eso, incluye el volumen, velocidad, variedad, valor y veracidad de los datos y los sistemas que se crean para gestionarlos. [Fuente Imagen: edsrobotics.com]

Este artículo detalla la construcción de un software orientado a la Big Data (http://bit.ly/3rIndZj). Este fue construido por 4 programadores de la Universidad de Cuenca — Ecuador: Freddy Abad, Moisés Arévalo, Jonnathan Campoberde, Miguel Macías.

El repositorio del proyecto se encuentra en: http://bit.ly/3kB7TuB

Previa la lectura de este artículo, puedes revisar el fundamento teórico en este link en este link.

La implementación de este clúster inicio tratando y analizando los datos de los aeropuertos de EEUU. Estos fueron cargados en un clúster multinodo mediante Apache Spark y su interfaz Pyspark. La configuración de Apache Spark se consolidó sobre Apache Hadoop


Este artículo es complementario de BIG DATA — Construcción de un Clúster Multinodo en Apache Spark&Hadoop, Pyspark, Flask, AngularJS.

A continuación detallo de manera sencilla los conceptos referentes a la rama del Big Data. Disfruta de su lectura.

Big Data

Es un concepto que comúnmente se lo relaciona al tamaño de la información que es almacenada en algún tipo de base de datos. A pesar de esto, existen otros aspectos importantes, tal es el caso de las 5 Vs de Big Data: volumen, velocidad, variedad, valor, veracidad [2]. El volumen se refiere a la cantidad de información que existe hoy en día…


Control de Calidad de Encuesta

Este artículo es un caso práctico de modelado multidimensional para la creación de un Cubo OLAP (Datawarehouse), integrando herramientas de Pentaho(PDI, BI-Server, Saiku Analytics).

Los procesos ETL, puedes encontrarlos AQUÍ. Ademas de una muestra de los datos que se manejaron en el proceso (los archivos Formulario1 y Formulario2 muestran todas las columnas y 2 filas de los datos con fines didácticos, mas no muestran su totalidad por su caracter privado).

Problema a solucionar

Generar un modelo multidimensional de una encuesta realizada a la población de ciertos sectores de una ciudad de Cuenca, Ecuador. La encuesta…


Este articulo contiene scripts recurrentes en el trabajo de un desarrollador. Estos se encuentran en varios lenguajes:

  • Python (.py)
  • Google Apps Script(.gs)
  • Javascript (.js)

El contenido del articulo se ira actualizando en el tiempo.

Ultima actualización: 22/08/2020

Extraer Audio de Video, Python 🐍

Geocoding en Google Sheet

Conseguir coordenadas geográficas en Google Sheet (Excel en Drive). Para ejecutar como una función en Google Sheet, se debe:

  1. Seleccionar Herramientas>Editor de secuencias de comando
  2. Agregar el código en el Editor de Texto, nombrar guardar el archivo en linea
  3. Invocar la función desde Google Sheet

Number Recognition — OCR en Python 🐍

OCR=Optical Character Recognition

El reconocimiento de números en imágenes, se realiza mediante OCR , se debe instalar previamente Tessaract. Este enlace te indica el proceso de instalación.

Formato de Fecha — Javascript

Formato para fechas: DD/MM/YYYY

Descargar JSON como CSV — Javascript


Solución de problemas de lógica computacional de la pagina https://app.codility.com/

Ingles

A small frog wants to get to the other side of a river. The frog is initially located on one bank of the river (position 0) and wants to get to the opposite bank (position X+1). Leaves fall from a tree onto the surface of the river.

You are given an array A consisting of N integers representing the falling leaves. A[K] represents the position where one leaf falls at time K, measured in seconds.

The goal is to find the earliest time when the frog can jump to the…


Solución de problemas de lógica computacional de la pagina https://app.codility.com/

Ingles

A non-empty array A consisting of N integers is given. Array A represents numbers on a tape.

Any integer P, such that 0 < P < N, splits this tape into two non-empty parts: A[0], A[1], …, A[P − 1] and A[P], A[P + 1], …, A[N − 1].

The difference between the two parts is the value of: |(A[0] + A[1] + … + A[P − 1]) − (A[P] + A[P + 1] + … + A[N − 1])|

In other words, it is the absolute difference between the…


Solución de problemas de lógica computacional de la pagina https://app.codility.com/

Ingles

An array A consisting of N different integers is given. The array contains integers in the range [1..(N + 1)], which means that exactly one element is missing.

Your goal is to find that missing element.

Write a function:

def solution(A)

that, given an array A, returns the value of the missing element.

For example, given array A such that:

A[0] = 2 A[1] = 3 A[2] = 1 A[3] = 5

the function should return 4, as it is the missing element.

Write an efficient algorithm for the following…


Solución de problemas de lógica computacional de la pagina https://app.codility.com/

Count minimal number of jumps from position X to Y.

Ingles

A small frog wants to get to the other side of the road. The frog is currently located at position X and wants to get to a position greater than or equal to Y. The small frog always jumps a fixed distance, D.

Count the minimal number of jumps that the small frog must perform to reach its target.

Write a function:

def solution(X, Y, D)

that, given three integers X, Y and D, returns the minimal number of jumps…


Solución de problemas de lógica computacional de la pagina https://app.codility.com/

Inglés

A non-empty array A consisting of N integers is given. The array contains an odd number of elements, and each element of the array can be paired with another element that has the same value, except for one element that is left unpaired.

For example, in array A such that:

A[0] = 9 A[1] = 3 A[2] = 9 A[3] = 3 A[4] = 9 A[5] = 7 A[6] = 9
  • the elements at indexes 0 and 2 have value 9,
  • the elements at indexes 1 and 3 have value…

Freddy Abad L.

Desarrollo de software. Entusiasta de la Inteligencia Artificial, del Desarrollo Web y todo lo que tenga que ver con el Mundo Tech. Website: www.cuencadev.com

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store