Business Intelligence

El software de Business Intelligence & Analytics convierte  los datos dispersos en una información precisa y  coherente que ayuda a los usuarios a comprender el  rendimiento empresarial y a tomar unas decisiones  empresariales mejores.

Subvenciones-I+D+I

Subvenciones para la I+D+i: cómo conseguir financiación para tu proyecto innovador

Las subvenciones para la I+D+i son una herramienta fundamental para impulsar la investigación y el desarrollo tecnológico en España. En este artículo, se analiza en profundidad el marco normativo que regula estas subvenciones y los requisitos necesarios para obtenerlas. Además, se explican los diferentes tipos de subvenciones disponibles y se ofrecen consejos para conseguir la financiación que necesitas para tu proyecto innovador. También se aborda la situación actual de las subvenciones para la I+D+i en España y se analizan las perspectivas de futuro para la investigación y el desarrollo tecnológico en nuestro país. Marco General de las Subvenciones para la I+D+i en España Concepto de subvención para la I+D+i Las subvenciones para la I+D+i son ayudas financieras que se otorgan para fomentar el desarrollo de proyectos de investigación y desarrollo tecnológico en empresas, organismos públicos y privados. Estas ayudas están diseñadas para apoyar el esfuerzo y los costes asociados a la investigación y para incentivar la innovación y la tecnología, lo que permite a las empresas ser más competitivas en el mercado y mejorar su posición en el mismo. Marco normativo de las subvenciones para la I+D+i en España En España, las subvenciones para la I+D+i están reguladas por diferentes leyes y disposiciones normativas. La legislación más relevante incluye la Ley de la Ciencia, la Tecnología y la Innovación, la Ley General de Subvenciones y el Real Decreto 4/2004, además de otra normativa específica que se aplica a los diferentes sectores, comunidades autónomas y programas de ayudas. Estrategias y planes de innovación en España En España, las estrategias de innovación se han desarrollado en el marco de la Estrategia Española de Ciencia, Tecnología e Innovación (EECTI). La EECTI establece los objetivos, las líneas de actuación y los instrumentos necesarios para fomentar la innovación en España, incluyendo la I+D+i, y se ha desarrollado en estrecha colaboración con las diferentes comunidades autónomas, universidades, organismos públicos y empresas del país. Tipos de Subvenciones para la I+D+i Subvenciones destinadas a proyectos de investigación y desarrollo En la actualidad, existen diversas subvenciones en España que buscan financiar proyectos de investigación y desarrollo en diferentes áreas. Estas subvenciones están destinadas a empresas, universidades y centros de investigación para fomentar el desarrollo de proyectos innovadores. Dentro de este tipo de subvenciones podemos encontrar las siguientes: Ayudas a proyectos de I+D+i sin ánimo de lucro Además de las subvenciones mencionadas anteriormente, existen otras ayudas para proyectos de I+D+i sin ánimo de lucro. Estas ayudas están dirigidas a organizaciones que quieran desarrollar proyectos de investigación científica y técnica, así como proyectos con un enfoque social, cultural o medioambiental. Desarrollo experimental y protección de datos personales en I+D+i La protección de datos personales es un aspecto fundamental en cualquier proyecto de I+D+i. Por ello, existen subvenciones específicas para proyectos que aborden la protección de datos personales en su desarrollo experimental. Estas subvenciones están destinadas a empresas y organizaciones que quieran desarrollar proyectos innovadores con un enfoque en la protección de la privacidad de los datos personales. Financiación de proyectos de I+D+i con regímenes de concurrencia competitiva Por último, existen subvenciones que se conceden a través de procedimientos de concurrencia competitiva. En este tipo de subvenciones, los proyectos son seleccionados en base a su valor innovador y su capacidad para generar impacto económico y social. Estas subvenciones están destinadas a empresas, universidades y centros de investigación que quieran desarrollar proyectos de I+D+i en diferentes áreas. Requisitos para Obtener las Subvenciones para la I+D+i Certificaciones y documentación requerida para obtener subvenciones para la I+D+i Para optar a las subvenciones para la I+D+i en España, es necesario presentar una serie de certificaciones y documentación requerida para su obtención. Entre las certificaciones exigidas se encuentran las relacionadas con la protección de datos personales, que deberán ser adaptadas al Reglamento General de Protección de Datos (RGPD). En cuanto a la documentación necesaria, debe presentarse un plan de innovación a largo plazo, que incluya el objetivo de investigación y desarrollo, la metodología a seguir y los resultados esperados. También se exige la acreditación del personal investigador, así como su experiencia y formación. Además, se deberán presentar los presupuestos y los programas de financiación del proyecto, así como un calendario de ejecución de las actividades previstas. Sistema de información y tratamiento de datos personales para la I+D+i Es necesario contar con un sistema de información y tratamiento de datos personales que cumpla con los requisitos establecidos en el RGPD para la gestión de la información de los proyectos de investigación y desarrollo. Es también importante considerar la necesidad de obtener el consentimiento explícito, informado y libre de los titulares de los datos personales que se vayan a utilizar en el proyecto. Actividades de tratamiento de datos en proyectos de investigación y desarrollo En los proyectos de investigación y desarrollo que impliquen el uso de datos personales, se deberá garantizar su confidencialidad y seguridad, así como el respeto de los derechos de los titulares de los datos. Se deberá cumplir con las normativas en materia de protección de datos personales, estableciendo medidas técnicas, organizativas y legales que garanticen la seguridad en el tratamiento de la información. Para ello, es recomendable contar con un Delegado de Protección de Datos (DPD) que se encargue de velar por el cumplimiento de la normativa en materia de protección de datos de carácter personal y que establezca los protocolos y medidas necesarias para garantizar la seguridad y privacidad de los datos. Conclusiones Cumplir con los requisitos para poder acceder a las subvenciones para la I+D+i es fundamental para llevar a cabo proyectos innovadores y conseguir financiación. Contar con la certificación y la documentación necesaria, tener un sistema de información y tratamiento de datos personales adecuado, establecer medidas de seguridad y privacidad y contar con un DPD son claves para el éxito en la obtención de estas subvenciones. Situación Actual de las Subvenciones para la I+D+i en España Plan de recuperación del Gobierno para la I+D+i en España en el año 2023 En la actualidad, el Gobierno español está implementando un plan de

Subvenciones para la I+D+i: cómo conseguir financiación para tu proyecto innovador Leer más »

implementación-Jenkins

Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero

Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero La potencia de Jenkins se apoya bastante en sus plugins que simplifican la programación. Pero algunos tienen limites. Es el caso de uno que se llama File Trigger que no funciona con pipelines. En algunos casos, puede ser útil de disparar un job basado en existencia o propiedad de un fichero. De hecho es un tipo de trigger que ofrece el TAC. La relación de Jenkins con el sistema de ficheros de la maquina huésped no permite acceder fuera del workspace. Por lo tanto, hay que recurrir al shell o powershell para capturar propiedades de ficheros.   Para simplificar la escritura del pipeline y poder usar de nuevo parte de código, aconsejamos de escribir los proyectos de detección de ficheros por separado y aprovechar los ajustes de disparo de los proyectos. Se puede elegir de arrancar el build de un proyecto a partir del resultado de otro: estable inestable fallo Detección de fichero Aquí ponemos ejemplo de pipeline para detección de presencia de un fichero.  Primera etapa, llamada al sistema operativa mediante shell o powershell. Se almacena el path del fichero en una variable de entorno que solo será accesible desde este pipeline. El resultado del test de existencia del fichero se almacena en una variable EXISTE que se usará en el paso siguiente. pipeline { environment {FILEX=»${USER_PATH}/Fichero.xlsx»}stages { stage(‘Check Existe Ficheros’) { steps { script {if ( isUnix() ) {EXISTE=falsetry {sh ‘test -f «$FILEX»‘EXISTE=true}catch (Exception e) {}} else {powershell ‘Test-Path $env:FILEX -PathType leaf > Existe’EXISTE_TEMP=readFile ‘Existe’EXISTE=EXISTE_TEMP.replaceAll(«[^a-zA-Z ]+»,»»).toLowerCase().equals(«true»)} } } } stage(‘Resultado Existe Ficheros’) { steps { script {echo («Resultado: » + EXISTE)if ( EXISTE ) {} else{unstable ‘No existe el fichero vigilado’}}}} } } Este paso es muy sencillo, ajusta el estado del build del proyecto a inestable en caso de no estar presente el fichero. En la vista de seguimiento del pipeline, vemos que cuando un build es inestable, el color del paso es amarillo mientras que cuando el build es estable aparece en verde. En el ejemplo se ha detectado aparición del fichero vigilado en la ejecución #5 Cambios en ficheros En este ejemplo nos interesa vigilar si un fichero ha cambiado por lectura de su propiedad de fecha de modificación (en plataforma Windows, la fecha de creación también).  Se pueden poner el camino de acceso de varios ficheros como variable de entorno limitadas a éste pipeline: pipeline { environment {FILE_1=»${USER_PATH}/Fichero1.xlsx»FILE_2=»${USER_PATH}/Fichero2.xlsx»FILE_3=»${USER_PATH}/Fichero3.xlsx» } Este proceso necesita recordar los valores de sus última ejecución para comparar los valores actuales. Luego se usa la función de bash shell o powershell adecuada a la plataforma. El resultado de las lectura se grava en forma de fichero en el workspace: stages { stage(‘Check Fechas Ficheros’) { steps { // bat «set»// sh «printenv»script {try {if ( isUnix() ) {sh ‘cat ultima_ejecucion > ultimo_chequeo’} else {powershell ‘Copy-Item -Path ultima_ejecucion -Destination ultimo_chequeo’}}catch (Exception e) {}if ( isUnix() ) {sh »’MAQ1=$(date -r «$FILE_1» «+%Y-%d-%m %H:%M:%S»)echo $MAQ1 > ultima_ejecucionMAQ2=$(date -r «$FILE_2» «+%Y-%d-%m %H:%M:%S»)echo $MAQ2 >> ultima_ejecucionMAQ3=$(date -r «$FILE_3» «+%Y-%d-%m %H:%M:%S»)echo $MAQ3 >> ultima_ejecucion»’} else {powershell »’$MAQ1=(Get-Date -UFormat «%Y-%m-%d %H:%M:%S» (Get-Item $env:FILE_1).LastWriteTime)echo $MAQ1 > ultima_ejecucion$MAQ2=(Get-Date -UFormat «%Y-%m-%d %H:%M:%S» (Get-Item $env:FILE_2).LastWriteTime)echo $MAQ2 >> ultima_ejecucion$MAQ3=(Get-Date -UFormat «%Y-%m-%d %H:%M:%S» (Get-Item $env:FILE_3).CreationTime)echo $MAQ3 >> ultima_ejecucion»’} } } } Se cargan en variables el contenido del fichero de fecha de la última ejecución y de la ejecución actual y se comparan. Se ajusta el estado del build del proyecto a inestable en caso de tener diferencias:   stage(‘Cambios en Ficheros’) { steps { script {UltC = readFile ‘ultimo_chequeo’echo UltCUltE = readFile ‘ultima_ejecucion’echo UltEif ( UltC.equals(UltE) ) {unstable ‘No cambios en los ficheros vigilados’} else {}}}} } } En la vista de seguimiento del pipeline, vemos que la ejecución numero #1 resulta en fallo. Eso es porque no hay fichero de ejecución precedente para realizar la comparación. La #2 nos devuelve un build inestable, con su paso de color amarillo porque se ejecutó a mano inmediatamente después con las mismas versiones de los ficheros vigilados. En cambio el build #3 es estable aparece en verde porque la aplicación fuente ya había guardado una nueva versión de al menos uno de los ficheros.   Hemos llegado el final de nuestra presentación del abanico de posibilidades que tiene usar Jenkins como planificador. En una primera parte vimos la arquitectura de la solución que hemos implementado. En la segunda, repasamos los ajustes de Jenkins y los otros elementos necesarios para la solución. La tercera, la hemos dedicado a detallar los pasos del script de tipo pileline desarrollado para ejecución de jobs de Talend con versionado de artefactos en repositorio Nexus. Acabamos de ver como aprovechar la riqueza de Groovy añadido al shell del sistema operativo. En función de los comentarios, podemos estudiar y desarrollar nuevos artículos. Post relacionados Talend Implementación de Talend para una Data Fabric Talend Cloud: Gestión y integración de datos en la nube al alcance de tu mano Talend Open Studio: La plataforma de integración de datos líder en España Load More End of Content. Integración de Datos y Aplicaciones Ofrecemos herramientas líderes en el sector, así como servicios y formación adaptados a tu empresa Productos Talend Rapidminer Modus integration Logistics Política de privacidad   Servicios Business Intelligence Data integration Data Science Data Warehouse Integración de Aplicaciones Data Fabric Términos de uso  

Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero Leer más »

implementación-Jenkins

Implementación de Jenkins: Procedimiento y script de ejecución

Implementación de Jenkins: Procedimiento y script de ejecución Ahora que tenemos un controlador Jenkins configurado con nodo para ejecución y repositorio de Nexus para almacenar los artefactos, podemos montar un flujo de trabajo que nos permite un buen seguimiento y de fácil manejo para adaptarlo a varios jobs. Cuando tenemos desarrollado un job en Talend Open Studio (TOS), llega el momento de pasar a producción. La única opción de ejecución del job fuera del Studio, pasa por compilarlo (Build) y ejecutar el paquete con Java. Como en la segunda parte, tenemos el paquete subido como artefacto en Nexus y un sistema de ejecución basado en Jenkins totalmente configurado. Podemos ejecutar el proyecto pipeline de Jenkins desarrollado para las siguientes etapas: Paso previo de borrado del espacio de trabajo (donde se van a guardar los ficheros necesarios en el agente. Un paso para determinar la versión del artefacto que queremos ejecutar, puede ser versión última escogida programáticamente o versión configurada a mano. Descarga de la versión escogida del artefacto desde Nexus al espacio de trabajo. Extracción de los ficheros contenidos en el archivo comprimido. Ejecución del script lanzador correspondiendo al sistema operativo, powershell (extensión .ps1) para windows o bash Shell (extensión .sh) para las maquinas de tipo Unix. Cabe notar que en Windows se podría usar el script .bat igualmente presente sin cambio ninguno. Pero como se necesita powershell para lectura de Nexus y descompresión, elegimos Powershell para más consistencia.   Detalle del script del pipeline Para simplificar vamos a repasar la sintaxis y las etapas del script que henos creado, para simplificar vamos a ver la versión para plataforma Windows con Powershell aunque tenemos versión para plataformas Unix y multiplataforma que compartiremos de todos modos. La declaración pipeline es obligatoria. agent, nos permite especificar que el script debe usar nodos con etiqueta Windows. El bloque environment permite de definir variable de entorno, son validas dentro del pipeline y solo de lectura. stages, indica que es el bloque donde se pone el código de los pasos, cada uno tiene la etiqueta stage con el nombre por lo cual se identificará. Cada stage tiene pasos identificados por steps, el comando del paso “clean WS” es un comando que permite de borrar el contenido de la carpeta que servirá de espacio de trabajo, De no hacerlo, se podría re-usar ficheros de la ejecución precedente. Aquí usamos un paso que contiene comandos de powershell para acceder al fichero descriptivo del paquete a través de la API de Nexus y determinar la última versión. En el caso de querer una versión fija, se inicializa sencillamente. Se guardan dos fichero en el workspace, uno para poder inicializar el valor de esta última versión en otra instancia de powershell otro con el comando para lazar el script ps1. stash, que está comentado, permite guardar ficheros para uso en otros proyectos. Descarga el artefacto necesario desde Nexus, se obtiene un fichero zip en espacio de trabajo. Único comando de powershell para extraer el fichero de propiedades y las dos carpetas del paquete Java construido por Talend. Comando powershell ejecuta el lanzador .ps1 en la carpeta del proyecto. Cuando vamos al panel de control del proyecto vemos el resultado de las ejecuciones y el paso que dio lugar al fallo, si hubo. Ademas, podemos ver el log de cada paso. En el ejemplo debajo, la salida de consola del job de Talend. En la siguiente parte veremos como ampliar la funcionalidad del pipeline base con trigger. Post relacionados Talend Cuales son las herramientas ETL más usadas? Implementación de Jenkins: Parámetros y Elementos externos Jenkins como gestor de ejecuciones de job de Talend Load More End of Content. Integración de Datos y Aplicaciones Ofrecemos herramientas líderes en el sector, así como servicios y formación adaptados a tu empresa Productos Talend Rapidminer Modus integration Logistics Política de privacidad   Servicios Business Intelligence Data integration Data Science Data Warehouse Integración de Aplicaciones Data Fabric Términos de uso  

Implementación de Jenkins: Procedimiento y script de ejecución Leer más »

Integración-de-datos-ETL

Integración de datos ETL: ¿Qué es y por qué la necesito?

Integración de datos, ETL: ¿Qué es y por qué la necesito? ¿Qué significa integración de datos? La integración de datos es cada vez más popular a medida que las empresas se dan cuenta de las inmensas ventajas que ofrece. Aunque no existe un enfoque único para la integración de datos, sí hay una definición común. La integración de datos es el proceso técnico y empresarial de combinar datos procedentes de fuentes dispares para ofrecer una visión global de los mismos. En pocas palabras, la integración de datos consolida diferentes fuentes de datos en una única vista unificada. La integración de datos permite que las herramientas analíticas produzcan inteligencia e información procesables. Sin embargo, es fácil entender por qué la integración de datos se percibe como algo desalentador si se tiene en cuenta su magnitud. Hay muchas fuentes de datos potenciales que evaluar, desde datos en la nube hasta sensores de información recopilada. Hay que diferenciar los distintos tipos de almacenamiento de datos, como un almacén de datos o un lago de datos. También hay megadatos y pequeños datos caracterizados por la velocidad, el volumen y la variedad. Además, hay que tener en cuenta diferentes técnicas de gestión e integración de datos. Por ejemplo, la virtualización de datos o las técnicas de transformación de datos o de carga de transformación de extractos. Luego están los retos habituales de la integración de datos, desde los silos de datos hasta la calidad de los mismos. No es de extrañar que, con tantas variantes posibles en la integración de datos, no exista una única solución de integración. Sin embargo, hay algunos aspectos comunes e historias de clientes que puede ser útil tener en cuenta.  Los aspectos comunes de la integración de datos incluyen un servidor de datos maestro, fuentes de datos dispares y acceso a los datos desde el servidor maestro. Revisar las historias de los clientes sobre el proceso de integración puede ayudar a orientar a otros profesionales interesados en la integración de datos para su negocio. Un proceso estándar de integración de datos incluiría inicialmente la solicitud de un servidor de datos maestros. El servidor de datos maestros recopila los datos necesarios de fuentes internas y externas. A continuación, se procede a la extracción de fuentes de datos internas o externas para cargar los datos en una única fuente. Por último, el conjunto único de datos se devuelve al solicitante original. Importancia de la integración de datos La integración de datos es un potente componente de la inteligencia empresarial y la gestión de datos. Las ventajas que la integración de datos ofrece a las empresas son excepcionales. Por ello, la integración de datos debe considerarse no sólo importante, sino también una prioridad empresarial. La integración de datos no se limita a beneficiar únicamente a los profesionales del análisis o la ciencia de datos. Gracias a una mayor colaboración, se benefician los departamentos empresariales, desde los centros de recursos de atención al cliente hasta la gestión global de la cadena de suministro. Del mismo modo, se mejoran los procesos empresariales de todo el consejo gracias a una mayor capacidad de colaboración. Dado que a menudo se producen varios procesos empresariales simultáneamente, la capacidad de ver los datos en tiempo real es extremadamente importante. La capacidad de acceder a los datos en tiempo real también es crucial para los trabajadores remotos y los equipos que se encuentran en distintas ubicaciones geográficas. La integración de datos reduce el tiempo necesario para los procesos relacionados con los datos. Anteriormente, cualquier esfuerzo de procesamiento de datos se facilitaba en gran medida de forma manual. La recogida manual de datos hace perder un tiempo valioso a los empleados y puede minar su moral. Por ejemplo, un empleado que no esté al tanto de los nuevos esfuerzos de almacenamiento de datos probablemente tendrá que rehacer sus esfuerzos de análisis de datos. En su lugar, los procesos basados en el tiempo que antes se requerían pueden utilizarse para aumentar la productividad de la empresa. Además, cuando mejora la experiencia de los empleados, es probable que mejore también el servicio al cliente. Además de consumir muchísimo tiempo, la necesidad de procesar manualmente los datos también es propensa al error humano. Los problemas de datos basados en errores de los empleados pueden dar lugar a importantes problemas de gestión y gobernanza de datos. Dado el valor que los datos aportan a las empresas, el acceso en tiempo real a los datos y a datos de alta calidad es esencial. Afortunadamente, existen muchas herramientas de gestión e integración de datos a disposición de las empresas. Además, los avances en el aprendizaje automático y las herramientas de integración de datos están optimizando aún más el análisis y la gestión de datos. ¿Qué tipos de integración de datos conocemos? La integración de datos puede hacerse de muchas maneras. Comúnmente denominados métodos, técnicas, enfoques o tipos de integración de datos, existen 5 formas diferentes de integrar sus datos.   1. Integración de datos por lotes En este tipo de integración de datos, los datos pasan por el proceso ETL por lotes en momentos programados (semanal o mensualmente). Se extrae de fuentes dispares, se transforma en una vista coherente y normalizada y, a continuación, se carga en una nueva tienda de datos, como un almacén de datos o múltiples data marts. Esta integración es muy útil para el análisis de datos y la inteligencia empresarial, ya que una herramienta de inteligencia empresarial o un equipo de analistas pueden simplemente consultar los datos almacenados en el almacén. 2. Integración de datos en tiempo real En este tipo de integración de datos, los datos entrantes o en flujo se integran con los registros existentes casi en tiempo real a través de canalizaciones de datos configuradas. Las organizaciones utilizan canalizaciones de datos para automatizar el movimiento y la transformación de los datos y dirigirlos a su destino previsto. Los procesos de integración de los datos entrantes (como nuevo registro o actualización/aplicación de la información existente) se integran en la

Integración de datos ETL: ¿Qué es y por qué la necesito? Leer más »

implementación-Jenkins

Implementación de Jenkins: Parámetros y Elementos externos

Implementación de Jenkins: Parámetros y Elementos externos Como vimos en la primera parte, hemos elegido el flujo de trabajo siguiente: Los paquetes ejecutables obtenidos por el Build de Talend Open Studio (TOS), se almacenan con versionado en un repositorio de Nexus. Jenkins sacará la versión de producción. Puede ser una versión especifica o la última versión. El paquete ejecutable Java es un archivo comprimido zip, que se debe extraer al espacio de trabajo de Jenkins. Jenkins, a continuación, lanza uno de los scripts del paquete que son bat, powershell ou shell según la plataforma del agente. Un ejemplo de script Groovy completo (Jenkins File) se presentará en la tercera parte. La instalación de Nexus se realiza según el procedimiento detallado en le pagina de Sonatype https://help.sonatype.com/repomanager3/product-information/download Nexus puede instalarse en cualquier maquina de la red, siempre que se pueda acceder desde el agente y el controlador de Jenkins. El código del servidor Nexus está en forma de archivo comprimido. El servidor se lanza mediante comando “nexus run/start”. El comando exacto se encuentra en la pagina de https://help.sonatype.com/repomanager3/installation-and-upgrades/installation-methods Ejecutar Nexus como servicio en el servidor necesita pasos diferente descritos por plataforma https://help.sonatype.com/repomanager3/installation-and-upgrades/run-as-a-service Se crea un repositorio de tipo Maven / Hosted que es el tipo adecuado para los artefactos de Java tales como un paquete construido por Talend. En Jenkins, para que la magia actué, hay que realizar esos ajustes: Labels: Etiqueta para identificar la máquina aunque en principio, el controlador no servirá para ejecuciones, suelen identificar el sistema operativo o propiedades que permite al controlador de elegir la maquina para ejecutar una determinada tarea. # of executors: En el caso de maquina de producción que se usa solamente como controlador 0, sino el nombre de hilos paralelos que se pueden ejecutar URL IP y puerto de acceso en la red, evitando localhost No olvidar de añadir una variable para la URL del servidor Nexus, por ejemplo con nombre NEXUS_URL y valor http://IP_DE_NEXUS:PUERTO_DE_NEXUS En el apartado “Nexus Repository Manager 3.x Server” se configura el acceso de escritura al servidor Nexus y así poder cargar los artefactos Java de Talend desde un proyecto de Jenkins En los ajustes a nivel de nodo, las variables globales para identificar el camino de acceso a carpetas de datos y/o herramientas. En el caso de plataforma basada en Unix hay que tener wget instalado. Se configuran a nivel de nodo, ya que pueden ser diferentes en cada máquina. Con esos ajustes básicos, el controlador está preparado para funcionar, pero le falta definir nodos de ejecución. Por defecto ya existe el nodo del controlador (Built-In). Hay una sección de configuración que permite de agregar nuevos nodos: En general, lo mejor es instalar el código del agente automáticamente desde el controlador conectándolo por SSH. En cambio, si el nodo es una maquina Windows, se aconseja de instalar manualmente el agente en la maquina y lanzarlo. El controlador genera una línea de comando única que permite al agente Windows de llamar al controlador cuando está activo. Una vez acabada la configuración, se puede probar un primero proyecto freestyle para cargar nuestro primero artefacto en el repositorio Nexus.   Se crea un nuevo elemento de tipo “Freestyle Project” Se añade un paso de publicación a Nexus 3: Puesto que hemos configurado el servidor se nos aparece en el menú: Se escoge en el segundo menú el repositorio donde se quiere subir el artefacto ponemos los identificadores del paquete et del artefato que tenemos que subir Guardar y ejecutar (Build en el idioma de Jenkins). Jenkins nos indica que el build (la subida del artefacto, en nuestro caso) se ha ejecutado con éxito. Y podemos navegar en Nexus para ver el artefacto que acabamos de subir. De la misma manera podríamos componer un proyecto para automatizar las etapas para seleccionar un artefacto de Nexus, descomprimir el archivo y ejecutar el script lanzador de Java. Como ya vimos, hacer un seguimiento de etapas múltiples vistas como un solo bloque, no es lo más cómodo. Sobre todo que Jenkins dispone de una modalidad que nos permite de ver el resultado de cada etapa por separado. En la siguiente parte, veremos que los proyectos de tipo pipeline son la herramienta ideal para un seguimiento fino de ejecuciones de pasos múltiples. Post relacionados Cuales son las herramientas ETL más usadas? Learn more Implementación de Jenkins: Parámetros y Elementos externos Learn more Jenkins como gestor de ejecuciones de job de Talend Learn more Integración de Datos y Aplicaciones Ofrecemos herramientas líderes en el sector, así como servicios y formación adaptados a tu empresa Productos Talend Rapidminer Modus integration Logistics Política de privacidad   Servicios Business Intelligence Data integration Data Science Data Warehouse Integración de Aplicaciones Data Fabric Términos de uso  

Implementación de Jenkins: Parámetros y Elementos externos Leer más »

datos-activo-empresa

¿Por qué los datos son un activo de cualquier empresa?

Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero La potencia de Jenkins se apoya bastante en sus plugins que simplifican la programación. Pero algunos tienen limites. Es el caso de uno que se llama File Trigger que no funciona con pipelines. En algunos casos, puede ser útil de disparar un job basado … Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero Leer más » Learn more Implementación de Jenkins: Procedimiento y script de ejecución Implementación de Jenkins: Procedimiento y script de ejecución Ahora que tenemos un controlador Jenkins configurado con nodo para ejecución y repositorio de Nexus para almacenar los artefactos, podemos montar un flujo de trabajo que nos permite un buen seguimiento y de fácil manejo para adaptarlo a varios jobs. Cuando tenemos desarrollado un job en Talend … Implementación de Jenkins: Procedimiento y script de ejecución Leer más » Learn more Integración de datos ETL: ¿Qué es y por qué la necesito? Integración de datos, ETL: ¿Qué es y por qué la necesito? ¿Qué significa integración de datos? La integración de datos es cada vez más popular a medida que las empresas se dan cuenta de las inmensas ventajas que ofrece. Aunque no existe un enfoque único para la integración de datos, sí hay una definición común. … Integración de datos ETL: ¿Qué es y por qué la necesito? Leer más » Learn more Integración de Datos y Aplicaciones Ofrecemos herramientas líderes en el sector, así como servicios y formación adaptados a tu empresa Productos Talend Rapidminer Modus integration Logistics Política de privacidad   Servicios Business Intelligence Data integration Data Science Data Warehouse Integración de Aplicaciones Data Fabric Términos de uso  

¿Por qué los datos son un activo de cualquier empresa? Leer más »

Data Mesh vs Data Fabric

Qué es data mesh? Tal y como la definió por primera vez Zhamak Dehghani, consultor de ThoughtWorks y arquitecto original del término, un data mesh es un tipo de arquitectura de plataforma de datos que adopta la ubicuidad de los datos en la empresa aprovechando un diseño de autoservicio orientado al dominio.  Es una arquitectura de datos descentralizada que organiza los datos por dominio empresarial específico (por ejemplo, marketing, ventas, servicio al cliente, etc.). Un data mesh transfiere la propiedad de los datos a los productores de un determinado conjunto de datos. Así, los productores de datos pueden definir políticas de gobernanza de datos centradas en la documentación, la calidad y el acceso.  Un data mesh utiliza un enfoque centrado en el ser humano y en el producto para ayudar a resolver los retos que plantea la naturaleza heterogénea de las fuentes de datos hoy en día. Con los métodos tradicionales de almacenamiento de datos, como los data lakes y los ware houses, centralizar y consolidar todas las fuentes de datos en una ubicación puede convertirse en un problema cuando se busca obtener información rápida que ayude a tomar decisiones. Para utilizar los datos, las empresas se enfrentan a la necesidad de sumergirse en un almacenamiento de datos centralizado, donde muchos de los datos pueden ser irrelevantes. Además, la limpieza y el procesamiento de los datos pueden requerir amplios conocimientos técnicos, de los que a menudo carecen los usuarios de la línea de negocio y que pueden causar fricciones en el proceso. Data mesh arquitectura – Cloudera Qué es data fabric? Un Data Fabric es una mezcla de arquitectura y tecnología que pretende aliviar la dificultad y la complejidad de gestionar varios tipos de datos diferentes. Se despliega en diversas plataformas y utiliza numerosos sistemas de gestión de bases de datos. Un Data Fabric proporciona una experiencia de usuario consistente y consolidada, así como acceso a los datos para cualquier miembro de una organización a nivel global y en tiempo real. El objetivo de un Data Fabric es ayudar a las organizaciones a entender y gestionar todos sus datos independientemente de: La forma en que se almacenan los datos La ubicación en la que se almacenan los datos y La plataforma o aplicación en la que se almacenan los datos. Se trata de una solución integral que integra y gestiona datos de diversas fuentes y proporciona acceso a todos los datos en una plataforma que permite un fácil acceso en un entorno de datos distribuidos.  Te contamos más sobre la importancia del data fabrik en este post.   Diferencias entre Data Mesh y Data Fabric Si bien Data Mesh tiene como objetivo resolver muchos de los mismos problemas que Data Fabric,(https://www.modus.es/data-fabric/por-que-es-importante-utilizar-data-fabric/)  es decir, la dificultad de administrar datos en un entorno de datos heterogéneo, aborda el problema de una manera fundamentalmente diferente. Como primera idea podríamos decir que mientras Data Fabric busca construir una única capa de administración virtual sobre los datos distribuidos, Data Mesh alienta que  grupos distintos de equipos a administrar los datos como mejor les parezca, aunque con algunas disposiciones de gobernanza comunes. El principio inicial que impulsa Data Mesh es rectificar la incongruencia entre el concepto de Data Lake y el de Data Wahehouse. Mientras que Data Warehouse de primera generación está diseñado para almacenar datos en gran parte estructurados que utilizan los analistas de datos para análisis de SQL retrospectivos, el Data Lake de segunda generación se usa principalmente para almacenar datos en gran parte no estructurados que el científico de datos utiliza para construir modelos de  Machine Leaning. También podríamos pensar un sistema de tercera generación marcado por data flow en tiempo real con la adopción de servicios en la nube, pero no resuelve los problemas de integración subyacente entre los sistemas de primera y segunda generación. Muchas organizaciones crean y mantienen elaborados procesos de ETL en un intento por mantener los datos sincronizados. Esto también impulsa la necesidad de  técnicos de datos muy especializados que tienen la tarea de mantener el sistema muchas veces muy complicado. El enfoque dado por Data Mesh consiste en aplicar  una especie de filtro que se aplica a un conjunto común de datos que está disponible para todos los usuarios. Entonces, en lugar de construir un conjunto complejo de tuberías ETL para mover y transformar datos en repositorios especializados donde las diversas comunidades pueden analizarlos, los datos se retienen aproximadamente en su forma original, y una serie de equipos de dominios específicos recogen esos datos dándolos a modo de un producto. Data Mesh aborda esta preocupación con una nueva arquitectura que está marcada por cuatro características principales: Propiedad y arquitectura de datos descentralizada orientada al dominio. Datos como producto. Infraestructura de datos de autoservicio como plataforma. Gobernanza computacional federada. En efecto, el enfoque de Data Mesh reconoce que solo los Data Lakes tienen la escalabilidad para manejar las necesidades analíticas actuales, pero el estilo de gestión  Top-down que las organizaciones han tratado de imponer en los Data Lakes ha sido un fracaso. Data Mesh intenta volver a imaginar esa estructura de propiedad de forma ascendente, lo que permite a los equipos individuales dentro de una organización construir los sistemas que satisfagan sus propias necesidades, aunque con cierta gobernanza previa. Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero La potencia de Jenkins se apoya bastante en sus plugins que simplifican la programación. Pero algunos tienen limites. Es el caso de uno que se llama File Trigger que no funciona con pipelines. En algunos casos, puede ser útil de disparar un job basado … Implementación de Jenkins: Trigger por otro proyecto por detección de cambio de fichero Leer más » Learn more Implementación de Jenkins: Procedimiento y script de ejecución Implementación de Jenkins: Procedimiento y script de ejecución Ahora que tenemos un controlador Jenkins configurado con nodo para ejecución y repositorio de Nexus para almacenar los artefactos, podemos montar un flujo de trabajo

Data Mesh vs Data Fabric Leer más »