Universitat Internacional de Catalunya
MÓDULO 5: Tecnologías y Arquitecturas Big Data
Altres llengües d'impartició: català, anglès
Professorat
Presentació
Requisits previs
Coneixements essencials d'informàtica bàsica
Objectius
- Entendre les tecnologies digitals implicades en l'Analítica Avançada
- Comprendre les premisses que les tecnologies comporten
- Associar les diferents fases d'un projecte a solucions tecnològiques d'infraestructura
- Disposar dels conocimimento per construir pipelines automatitzats
- Valorar el cost dels recursos tecnològics
Resultats d’aprenentatge de l’assignatura
- L'alumne haurà de entendre i poder aplicar les tecnologies subyancentes per a la pràctica de l'Analítica Avançada
- L'alumne haurà de entendre la implicació de la tecnologia en el desplegament dels models predictius elaborats en àmbit de laboratori i producció
- L'alumne ha de poder associar els problemes de negoci a una solució d'arquitectura en funció de l'tipus de dades, els models a utilitzar, la dipsonibilidad de nova informació i els requisit d'inferència
Continguts
Arquitectura BIg Data y Cloud,
- introducción al Big Data y Cloud
- Datacenters
- Agile Analytics y Cloud
- Fases de la metodología Analítica
- 2020 Data and AI Landscape
Bases de datos (SQL, NoSQL, Documentales, clave-valor y Graph), teoría, prácticas y casos de aplicación
- NoSoloSQL
- MongoDB
- Noo4j
- Prácticas con lab de python y MongoDB
Recursos Cloud (Servidores, Microservicios, Colas, Bases de datos, ML, Gráficos y otros servicios), teoría, prácticas y casos de aplicación
- Introducción a los servicios cloud
- Servidores virtualizados
- Concepto de microservicios
- Colas
- Bases de datos en Cloud
- Almacenamiento y Data Lakes
- Prácticas con labs de storage, bases de datos, microservicios y colas
Procesamiento distribuido (Hadoop y Spark) herramientas open source y cloud , teoría, prácticas y casos de aplicación
- Map Reduce
- Hadoop
- Spark
- Prácticas con labs de Hadoop y Spark con python
Procesamiento batch, tiempo real y stream, teoría, prácticas y casos de aplicación
- Tipos de procesamiento: tiempo real, batch y stream
- Spark Streaming
- Prácticas con labs de Spark Streaming
Herramientas para ML, teoría, prácticas y casos de aplicación
- Spark MLlib
- Prácticas de ML y AutoML en Cloud
Metodologia i activitats formatives
Modalitat totalment presencial a l'aula
- Presentació amb conceptes i teoria
- De cada tema es realitzaran pràctiques de labs, tutorials, individuals d'autoaprenentatge, experimentant amb la tecnologia en qüestió, amb suport de la comunitat d'alumnes i de professor
- Es plantejaran una docenca de casos d'aplicació reals on es treballarà de manera conjunta la recerca d'una solució tecnològica d'arquitectura, mitjançant anàlisi grupal dels casos concrets de client per a una resolució participativa dels alumnes
Sistemes i criteris d'avaluació
Modalitat totalment presencial a l'aula
- Resolució d'una arquitectura per a un cas de client concret
- Labs individuals: Es proposaran una dotzena de Labs, d'autoaprenentatge, alguns obligatoris i altres opcionals, però altament recomanats, combinant l'arquitectura amb altres coneixements adquirits durant el màster
Bibliografia i recursos
Es proposaran diverses lectures de papers i articles relacionats amb els diferents punts tractats combinant amb altres temes de l'màster.
- G. Linden, B. Smith and J. York, "Amazon.com recommendations: item-to-item collaborative filtering," in IEEE Internet Computing, vol. 7, no. 1, pp. 76-80, Jan.-Feb. 2003, doi: 10.1109/MIC.2003.1167344.
- Overview of Amazon Web Services, AWS, August 2020
- J Dean, S Ghemawat , MapReduce: simplified data processing on large clusters, Communications of the ACM, 2008
- Matt Turck, 2020 Data and AI Landscape, FirstMark
- Liu, Guimei & Nguyen, Tam & Zhao, Gang & Zha, Wei & Yang, Jianbo & Cao, Jianneng & Wu, Min & Zhao, Peilin & Chen, Wei. (2016). Repeat Buyer Prediction for E-Commerce. 155-164. 10.1145/2939672.2939674.