dimarts, 16 de gener del 2024

OBTENCIÓ I TRACTAMENT DE DADES, OPEN DATA I BIG DATA

Avui, The Grandma ha continuat la seva formació en Màrqueting i comerç internacional amb els Market a Castelldefels. 

Ha estat la darrera classe, després de dotze sessions on han cercat, ordenat, analitzat i compartit informació. 

La informació és poder i l'anàlisi d'aquestes dades es converteix en una acció imprescindible, no només dins del món del màrqueting i la comunicació, sinó en qualsevol aspecte de les nostres vides. 

Per aquest motiu es torna necessari parlar sobre dos temes complexos i interessants com són les dades obertes (Open Data) i les dades massives (Big Data).

Han estat uns dies plens d'històries compartides i de recerca, on hem viatjat al llarg del temps i de l'espai per a buscar exemples que ens ajudin a comprendre conceptes i per a constatar que en un sistema econòmic com el nostre, tot és màrqueting.

Molta sort i molts encerts, Markets. Sou fantàstics!

Descarrega SIM_Análisis del mercado

Descarrega SIM_El comportamiento del consumidor_Segmentación del mercado

Dades Obertes o Open Data són conjunts de dades que es posen a disposició del públic i poden ser reutilitzats i tornats a publicar sense cap restricció.

Té un esperit semblant al d'altres moviments oberts i a comunitats com les de codi obert, maquinari lliure, contingut obert o accés obert. La pràctica i la ideologia de les Dades Obertes en si estan ben establertes de fa temps, per exemple en la tradició mertoniana de la ciència, tot i que el terme Dades Obertes és recent i associat a internet i a la World Wide Web.

Segons l'Open Knowledge Foundation un contingut per ser obert ha de seguir tres principis: ha de deixar al públic el dret a utilitzar-lo, el dret a reutilitzar-lo i adaptar-lo a les necessitats pròpies i el dret a redistribuir-lo i compartir-lo.

L'única restricció és que el producte resultant també ha de seguir el principi de poder ser obert.

Les dades són distribuïdes en un format obert que permet la seva manipulació sense cap restricció tècnica amb programari obert i sota una llicència i/o condicions d'ús que no impedeixen als usuaris finals revisar-les, remesclar-les i redistribuir-les a tercers.

Les dades haurien de satisfer certes condicions associades a la seva descripció, traçabilitat, qualitat, privacitat i interoperabilitat. En alguns casos les Dades Obertes es poden considerar més aviat com a metadades obertes i encara no hi ha una formalització coherent.

Més informació: Govern Obert-Gencat & Transparència Catalunya


 La informació és el petroli del segle XXI,
i l'anàlisi és el motor de combustió.

Peter Sondergaard


Dades Massives o Big Data és el nom que reben els conjunts de dades, els procediments i les aplicacions informàtiques, que, pel seu volum, la seva naturalesa diversa i la velocitat a què han de ser processades, ultrapassen la capacitat dels sistemes informàtics habituals.

Aquest processament de Dades Massives s'utilitza per detectar-hi patrons, podent fer així prediccions vàlides per a la presa de decisions.

La disciplina dedicada a les Dades Massives s'emmarca dins de les tecnologies de la informació i la comunicació. Aquesta disciplina s'ocupa de totes les activitats relacionades amb els sistemes que gestionen grans conjunts de dades.

Les dificultats més comunes en aquests casos se centren en la captura, l'emmagatzematge, la cerca, la compartició, l'anàlisi, i la seva visualització.

La tendència de manipular ingents quantitats de dades es deu a la necessitat, en molts casos, d'incloure aquesta informació per a la creació d'informes estadístics i models predictius emprats en diversos camps, com per exemple de les anàlisis de negoci, publicitat, les dades de malalties infeccioses, l'espionatge i el seguiment de la població o la lluita contra el crim organitzat.

El límit superior de la capacitat de processament s'ha anat desplaçant al llarg dels anys. D'aquesta forma els límits que estaven fixats el 2008 rondaven l'ordre de petabytes a zettabytes de dades.

Els científics amb certa regularitat troben limitacions a causa de la gran quantitat de dades a analitzar en certes àrees, com ara la meteorologia, la genòmica, les complexes simulacions de processos físics, i les investigacions relacionades amb els processos biològics i ambientals. Les limitacions també afecten els motors de cerca a internet, als sistemes financers i a la informàtica de negocis.

El que fa que Big Data sigui tan útil per a moltes empreses és el fet que proporciona respostes a moltes preguntes que les empreses ni tan sols sabien que tenien. En altres paraules, proporciona un punt de referència. Amb una quantitat tan gran d'informació, les dades poden ser modelades o provades de qualsevol manera que l'empresa consideri adient. En fer-ho, les organitzacions són capaces d'identificar els problemes d'una forma més entenedora. 

El Big Data implica normalment conjunts de dades que superen la capacitat del programari habitual per ser capturades, gestionades i processades en un temps raonable.

Els volums del Big Data es troben constantment en augment.

El Big Data pot ser descrit segons les següents característiques:

Volum

La quantitat de dades generades i emmagatzemades. La mida de la dada determina el valor i el visionament potencial, determinant així si es considera o no Big data. Així doncs, aquesta quantitat cada vegada més gran de dades suposa un repte per als sistemes informàtics, els quals lluiten per emmagatzemar i recopilar la informació per tal d'utilitzar-la en un futur.

Varietat

El tipus i naturalesa de la dada. Això ajuda a la gent que l'analitza a usar efectivament els resultats prevists. D'aquesta manera, es podria definir com el nombre creixent de tipus de dades que han de manejar-se de manera diferent a partir de simples correus electrònics, registres de dades i de targetes de crèdit.

Velocitat

En aquest context, aquesta és la velocitat a la qual la dada es genera i processa per complir amb la demanda i desafiaments que rauen en el creixement i desenvolupament exponencial. Per tant, es tracta de la velocitat en què aquestes dades es mouen a partir de criteris de valoració en el processament i l'emmagatzematge.

Variabilitat

Gran varietat en la naturalesa i font de la dada permet efectuar processos per a manegar-la i aguantar el seu potencial.

Veracitat

La qualitat de la dada capturada pot variar dràsticament, afectant anàlisis suposadament acurats.

Hi ha diferents empreses que utilitzen el Big Data com:

-Ebay.com.  Usa dos magatzems de dades a 7,5 petabytes i 40PB així com un cluster Hadoop 40PB per a la cerca, les recomanacions de consum, i el marxandatge. Dins l'emmagatzematge de dades 90pb d'eBay.

-Amazon.com. Mou milions d'operacions de back-end de cada dia, així com les consultes de més de mig milió de venedors de terceres parts. La tecnologia central que manté Amazon funcionament està basat en Linux i en 2005 van tenir tres bases de dades més grans del món de Linux, amb capacitats de 7,8 TB, 18,5 TB i 24,7 TB.

-Walmart. S'ocupa de més d'1 milió de transaccions dels clients cada hora, que s'importa en bases de dades que s'estima contenen més de 2,5 petabytes (2.560 terabytes) de dades, l'equivalent a 167 vegades la informació continguda en tots els llibres dels EUA Biblioteca del Congrés.

-Facebook. Mou 50 mil milions de fotos de la seva base d'usuaris.

Entre els beneficis que aporta l'anàlisi de dades massives a la societat es troben, per exemple, avançar-se a futures conductes o la gestió d'expectatives dels ciutadans. Això es pot fer recollint i analitzant els comportaments i publicacions que els internautes envien als diferents canals d'Internet com ara les xarxes socials, fonts d'informació que ens permeten avançar-nos a futures conductes d'actuació.

Un altre important àmbit d'aplicació és en aquelles ciutats que estan adoptant el concepte Smart City i que comencen a recollir mitjançant sensors, quantitats ingents d'informació relativa al trànsit, els subministraments o l'estat dels serveis que ofereixen als seus ciutadans, tenint sempre com a objectiu anticipar-se i millorar.

Més informació: CCCB

Sense l'anàlisi de big data,
les empreses són cegues i sordes
i passen per la web com els cérvols en una autopista.

Geoffrey Moore

Cap comentari:

Publica un comentari a l'entrada