1:04:11
2024-10-09 10:47:18
1:29:40
2024-10-09 12:28:28
25:55
2024-10-10 09:26:29
2:38:45
2024-10-10 09:59:31
46:32
2024-10-10 15:02:46
Visit the Big Data course recordings page
United Arab Emirates - Big Data Hadoop Analyst Training
WEBVTT
-->
Sí, accede por favor. Sí, vamos a ver. Mientras va abriendo, abre el browser por For Average,
-->
tienes allá abajo y ahí vamos a confirmar si se copió todo. Dale 10.3, dale creo que
-->
está en el ya está ya está en el historial de directa 10 y creo que te aparece una dirección
-->
ahí que es 10 puntos ese dale entre por favor se copió la máquina vete a la misma vete a
-->
utilities la en la en el menú de arriba está overview utilities browse the file browse la
-->
primera opción la primera y ahí está la carpeta un inputs dale clic en inputs y eso ahí está
-->
vete ahora y a ver si ya subió el tal envidata
-->
dale ok a ese dale dale ok ese tendrá que conectarse a un repositorio no existe
-->
expande los yo design y mira es el yo que se llama yo descargar archivos a dos
-->
listo bueno por ahí vamos entonces listo retomamos entonces en un minuto listo perfecto
-->
entonces estamos en la configuración de este if que este es un condicionador que
-->
ejecutaría el componente siguiente siempre y cuando la condición se cumpla ahora vamos
-->
a configurar sencillamente el temes a voz coloquen el mensaje nada más error al
-->
cargar archivo al descargar archivo y proceda alto siguiente a conectar nuevamente el hfg
-->
con el disparador rumif con el otro mesa voz disparador con rumif y conéctelo aquí
-->
dele doble clic a la línea delif doble clic a la línea y le aparece la condición
-->
justamente a la línea delif a ver muestra a ver eva creo que la línea no extraer a la
-->
línea creo que usaste es no eva lo que hace que colectaste con mail quítate quita borra
-->
esa línea que tienes ahí por favor borra la línea de conexión selecciona la idea a
-->
suprimir ahora suprimir listo ahora nuevamente clic derecho sobre el hdf hdf que clic derecho
-->
vete al disparador disparado no sensión disparador la que viene después de fila
-->
ese y hay una opción que dice rumif la tercera rum y listo conecta la cuelte mesa voz 2
-->
ahora dale doble clic a la línea y te va a aparecer una opción en la parte de abajo
-->
condición espera listo ahí vamos en la parte de abajo del centro te aparece ahora
-->
en la perspectiva online abrimos nuevamente hdfsg del lado izquierdo y tomamos una variable
-->
nuevamente la misma y la soltamos de este lado la selecciono clic sostenido y aquí
-->
si esto es igual a 1 significa que subió de forma correcta
-->
subió no descargó que es más descargando
-->
si todo está ok por favor ejecuta el job
-->
y veamos qué pasa
-->
excelento vamos a subirlo ahora más tarde memoria generando apenas listo
-->
hay algunos que tienen errores vamos a ver ahora verifico para ver voy contigo
-->
bernardo deja que ejecuta el mismo momento
-->
terminé de ejecutar para confirmar si es mismo error listo hello world se me olvidó configurar
-->
este hello world cuál es de todo está correctamente mire entro por aquí donde
-->
aquí dice true entro por aquí se lo olvidó configurar ok si por favor y le funcionó
-->
coloque un nombre al archivo que no esté allá en hd y lo vuelve a ejecutar debería salir el
-->
mensaje de error a colocar producción uno y lo vuelvo a ejecutar y debería salirme ahora
-->
si error fue que se volvió configurar el mensaje ya voy contigo un momento bernardo a ver
-->
el caso tuyo vamos a ver
-->
a porque tu carpeta es input pero la tienes con el contexto verdad vete al contexto de
-->
un día creo que se hicieron con vete a tu contexto del proyecto del lado izquierdo en
-->
repositorio abre el contexto que se llama maxa no pero cambia la no pero cambia la mejor
-->
en el en el no no lo cambia y porque nada más me funcionaría nada más ahí después
-->
vamos a ir usando entra ahí perfecto para que doble clic listo next y cambia y hay inputs
-->
si finis a ley es ok para que cambie en los listo finis ejecuta nuevamente para ver
-->
listo avise listo ve aquí error a descargar archivo martina no no o eva eva vamos a ver eva
-->
que error tienes vete al design en un momento a listo vete al design ahí porque eso está
-->
entre comillas doble entra temesas vos temesas vos ese que está ahí doble clic y ese mensaje
-->
colocado entre comillas doble ejecuta nuevamente para ver hernesto tienes un error también noto
-->
que lo tienes vamos a ver qué te pasó a ti muestrame por favor tu hf get hello world
-->
entró al segundo de mesa vos significa que lo descargó por favor busca la carpeta descarga
-->
los que terminaron busquen su carpeta descarga y debería estar en su temporal
-->
descarga el archivo descargado vamos a ver el caso tuyo listo inputs muestrame tu browser un momento
-->
tu browser en esto si le están a mal este muestro a tu pantalla listo vete a ahí está inputs
-->
perfecto muestren nuevamente ahora sí él tienes y si te un contexto para descarga así lo tiene
-->
vete a tu rumo un momento a tu perdón a tu hd figuete nuevamente que ven a tu a tu hd figuete
-->
sube muestrame esa dirección servidor jadud un momento dirección servidor jadud
-->
vamos a ver si está bien faltó dos puntos y después de la ese faltó dos puntos
-->
si mis cálculos no me falla te faltó dos puntos ahí te confirmo
-->
hd fs ya te confirmo dos puntos y exactamente dos puntos las las dirección listo finis para ver
-->
yes vuelve a ejecutar nuevamente todo correcto listo debería estar en la carpeta vete a tu
-->
carpeta que no la descargaste creo que la descarga creo que la viste por allá me parece
-->
que más no le funcionó a mí es ya sí mismo vamos contigo ya es bien yo te dije que ya
-->
mía casi escribí con s2 tienes conceptos ya acá normalmente bueno vamos a ver que es meter rum a
-->
ver la pestaña rum en esa perspectiva que está rum yo sube para ver para ver el error en el
-->
exactamente vamos a ver que dice ahí está tomando la ruta user vete al get momento
-->
hd fs hd fs muestrame la configuración dale doble clic doble clic un momento a ver baja para ver
-->
ese directorio ray como es una variable de contexto no debería ir entre comillas doble en
-->
el en la variable esa de context no va entre comillas porque es una variable de context
-->
intenta ejecutar ahora nuevamente a ver si el problema era ese hello world entro por el true ok
-->
dale creo que ese dale click ok no se no lo configure el no vete a tu descarga donde
-->
lo mandaste a descargar viera que entró por la línea no está el true entró por ahí debió
-->
descargar bien vete a tu programa de archivo no porque es lo estamos descargando desde
-->
sistema de fichero entra descargas y ahí tienes cópic
-->
perfecto no sé si alguien más listo no sé si alguien más bueno continuamos pues
-->
quien yo quien dios yo disculpe julio eso julio vamos a ver qué error salió
-->
oye es un error de compatibilidad dele ok beta code beta el co para que nos muestre
-->
dale ok por favor si está mal beta el co del aladito del designer en el punto rojo dice
-->
que esa variable no existe entonces vete a tu a tu contexto de no hay una perspectiva en la
-->
parte de abajo en el contexto exactamente ahí donde está el clientes a la clínica
-->
beta contexto ese que está ahí y está diciendo que esa variable parece que no existe
-->
dale doble clic en el en el hd feget no es la confesión del hd fe el t hd feget
-->
ahí en el canvas la doble clic beta el canvas hd fse que si las dudas a lo siguiente vete a
-->
la variable de contexto que tiene context borra la hasta el con ahí sube sube sube sube borra
-->
la hasta el co pero manda la manda la pero no te complique la vida borra la desde la p
-->
desde la p borra la mesa borrar hasta la s y dale control espacio dale control espacio
-->
ahí ya dale control espacio para que salga la ayuda ahí estás listo ahora sí doble
-->
seleccionada y ahora vuelve la ejecutar para ver sube para ver nos vamos a ver sube para
-->
ver sube para ver el error inputs la carpeta se llama inputs con s vete a tu contexto por
-->
favor pero del repositor del proyecto o sea de buscate el contexto del repositorio
-->
para que la corríes allá no ese contexto busca el de repositorio que lo tienes al lado de
-->
desde el proyecto perdón vete a la ascensión del repositorio del lado izquierdo eso dale
-->
doble clic ahí pasa que si la cambio aquí cambiaría en todos los yo que lo tienen
-->
dale next y colóquelo ahí la s inputs en ruta raíz inputs dale finish ahí por favor
-->
y es ok y dale ahora sí nuevamente ejecutar lo que pasa es que si la cambiaba directamente en
-->
el yo te hacía el cambio ahí pero no me cambiaba si volvía a re-usar esa variable en otro yo
-->
entonces mejor la cambiamos el contexto nivel del proyecto y me cambia actualiza todos los que
-->
dependen del hello world exactamente eso tuvo que haber descargado vete a la carpeta
-->
tuya en temporal descargas entre la carpeta descarga y va a estar ahí
-->
bueno listo no sé si a todos ya les funcionó o todavía hay errores
-->
ya se entendía vamos a ver
-->
para este momento
-->
sí como hizo sí como hizo como hizo ahora no recuerdo que es decir yo pude haber hecho
-->
la variable de contexto de esto si quieres te lo haga la prueba aquí en vez de hacer eso
-->
debía ser lo mejor así veo y me quedaba mucho más fácil de configurar notepad es decir me
-->
daba esto sin estas comillas doble y aquí le colocaba
-->
dentro era 10.0.3.250 quitaba esto texto mira en este contexto de acá le decía
-->
oye ven acá para no está complicándome la vida con esas comillas simple comillas doble
-->
le colocaba todo esto aquí
-->
y ahora cuando de cuando lo fuera a usar que era aquí en la parte esta de
-->
este hdfguet lo que hacía era que colocaba como tengo dirección completa ya colocada más
-->
context dirección servidor y en realidad me quedaba mucho más fácil que la forma en que
-->
lo hice inicialmente pero ya déjenlo así porque no vamos a configurar eso
-->
a liso porque se agrega el más y más perfecto una pregunta creo que no era
-->
lo que es exactamente lo que no era porque este señor estaba esperando un stream verdad
-->
y a este stream le iba a agregar una variable imagínate esto como si yo tuviese lo siguiente
-->
así lo colocar un poco más grande aquí imagínate como si yo hubiese definido aquí bar x igual
-->
aquí a esto que está aquí entre comillas doble como esto es un stream para yaba entonces
-->
qué pasaba me tocaba cerrar aquí este stream con cateno esta variable más x y
-->
después con cateno con esta parte de acá por eso crear a los más porque
-->
yaba lo y como es yaba permitir así
-->
listo bueno bien vamos eso sigamos entonces vamos a lo siguiente ahora vamos a conectarnos de
-->
una manera diferente para que tú escojas a ver cuál es la que más te gusta hemos hecho
-->
unas conexiones en cada uno de los componentes de diferente forma vamos a hacer lo del
-->
ok vamos aquí en metadata y aquí hay una opción que dice haduk cluster la que dice hay
-->
haduk cluster no se le da clic derecho aquí y le dice crear haduk cluster bueno el
-->
nombre lo voy a llamar haduk onderexcoraxa el nombre que le voy a dar haduk onderexcoraxa
-->
next aquí te piden espera un momento que tuve que cerrar haduk conexión se me perdieron los
-->
momentos se me perdió la ventana donde tengo todos gracias aquí la distribución ya te he
-->
explicado que hay diferentes distribuciones toma el open source y cada uno le colocó una
-->
capita diferente me interesa universal que ya la que estoy trabajando y por cuestiones aquí
-->
debe ser versión 3.0 3.0 si no creo que causa error 3.0 y le das finish aquí
-->
aquí estos manes tienen un error aquí un box que me toca reconfigurar nuevamente eso
-->
es que pena aquí tiene que volver a configurar nuevamente universal y 3.0 listo ahí está
-->
esto es muy parecido a cuando definía una conexión estática base datos aquí no puedo
-->
usar la llave de contexto reemplace todos los localhost por la dirección del servidor
-->
en el primero hay una pequeña diferencia el primero va a ser 10.0.3.250 y por favor cambia
-->
el puerto S8020 que acá en esta versión es 9.000 lo demás si copias cambias el localhost
-->
por la dirección IP nada más y los puertos siguen fijo
-->
bien fijo los puertos perfecto dígame quién me habló por ahí qué pena que no estoy viendo el
-->
el chap
-->
julio vamos a ver julio vamos a ver listo vamos a ver voy a tu pantalla y de pronto
-->
hay algunos que dale cáncer ahí por favor dale cáncer cáncer ahí estamos ahí en distribución
-->
por favor o dice en la parte de la distribución escoge universal click universal baja un poco
-->
más y es universal en la versión que tienes del lado derecho escoge 3.0 por favor y ahora
-->
vas a cambiar en la primera name uri vas a cambiar el localhost por 10.0.3.250 y cambia
-->
el puerto ese que dice 80 20 por 9000 listo ahora los demás localhost lo cambia por
-->
10.0.350 todos los localhost que tienes por debajo lo vas a cambiar por 10.0.350 que es
-->
con los puntos que te quede el punto porque el punto va a indicar el puerto creo que
-->
cogiste la t ahí te quedó a ti perfecto ya no cierren pero un momento ahora donde dice
-->
user name listo dice user name baja colocar a chedub el usuario que tengo a chedub vamos
-->
a chequear los servicios chequear servicios check service y esperamos que no haya bueno
-->
aquí me pide descargar algunos drivers de conexión vamos a descargarlo bueno está
-->
todavía verificando el estatus
-->
el caso del mío está un poquito lento y el tengo error yo
-->
ah mire yo me equivoqué puse 900 y era 9000 pequeño error check service listo ahora sí
-->
con los si está en verde el estatus le da finish por favor
-->
si te salió el estatus en verde dale finish por último te tuvo que haber abierto aquí la
-->
conexión en esa conexión le da clic derecho y le voy a decir que va a crear una conexión
-->
hdfs al sistema de ficheros de jadu porque recuerda que se divide en 12 más reduce y
-->
en hdfs vamos entonces a crear hdfs y colócalo hdfs nombre la conexión axa under core axa
-->
next y aquí no hay que hacer más nada aquí nada más que darle cheque creo que aquí si
-->
le das cheque listo si nada más cheque para confirmar y ha creado de forma correcta la
-->
conexión al sistema de ficheros de jadu aquí le das finish perfecto y ya puede rehusar esa
-->
conexión vamos a ver cómo la rehusamos
-->
perfecto no te preocupes no te preocupes claro vamos a ver ya listo voy para allá
-->
pero en un momento ya llego ya bueno el primer el puerto en el name uri donde el
-->
primer name uri que tiene no uri cambia el puerto 80 20 a 9000 es 80 20 lo cambia a 9000
-->
ese era para versiones anteriores de jadu y acá en el user name sigue bajando después
-->
donde dice user name baja listo colócale hdud hdud ahí colócale hdud perfecto y se
-->
activó el cheque service lo viste acá donde dice cheque service en la los botones que están
-->
en la parte de abajo dale clic en cheque service por favor descarga dale el descargar todo un
-->
momento y esperamos para ver y verificamos a ver si todo está ok listo le das ok close
-->
finish finish y vete a repositorio y expande jadu cluster ahora en ese jadu cluster recordará
-->
que está divido en mac reduce y en hdfs crea una conexión hdfs hacia ese jadu le da clic
-->
derecho clic derecho no en jadu que el otro en jadu alza clic derecho ahí y crea hdfs
-->
hdfs listo llámalo hdfs donde es colaxa dale next next
-->
y dale cheque por favor para verificar que todo esté bien cheque ok finish perfecto listo
-->
vamos a crear un nuevo job por favor un nuevo job un nuevo job en jadu que lo voy a llamar
-->
entonces job listar ficheros con the record jadu
-->
finish aquí
-->
listar ficheros perfecto listo entonces vamos a hacer lo siguiente para listar
-->
vamos a usar el componente que se llama t hdfs list
-->
list
-->
hdfs list y vamos a usar un componente que ya hemos usado que se llama t java
-->
el t java hemos usado dos a todo momento como se llama t java y uno se llama t java robo
-->
el t java no tiene ni entrada ni salida permite ejecutar código java y tengo el t java flow que
-->
también me permite ejecutar código java pero ese señor tiene entradas y ni salidas
-->
listo ahora haga lo siguiente vamos a conectar vamos a configurar t hdfs list por favor
-->
que la tengo de repositorio vamos a conectarlo de forma diferente donde dice property tie
-->
vayase aquí a donde dice repositorio property tie del hdfs repositorio y aquí sale un
-->
pequeño botón dale clic en el botón por favor y aquí te aparecen las conexiones
-->
definida repositorio entonces escoges el hdfs axa este que está aquí el hdfs axa y le das ok
-->
y él configura lo que tengas allá en ese hdfs axa otra forma en la cual
-->
tú te conectas una está estática una la hace directamente en el job como tal nuevamente le
-->
da clic aquí en el repositorio y a y escoge la opción hdfs axa que es la última
-->
la última opción
-->
ok ok vamos a ver un momento bernardo vamos a ver qué pasó
-->
vamos a ver no esa no es por aquí talé quítale el chulito de usar conexión
-->
existente en el check listo quítale el chulito ese vete al esto de ver al botón que está al
-->
final ese que está ahí exactamente clic ahí pero un momento que ese se muera listo entonces
-->
expande ahí hasta que cuentes el hdfs expande sigue expandiendo sigue expandiendo
-->
y ahí está ok listo perfecto ahí toma la configuración entonces por último vamos a configurar
-->
el hdfs directorio pero entonces vamos a importar los contextos importamos los contextos del
-->
del contexto de el proyecto y ahora ahí vamos a colocar en ese hdfs list donde dice
-->
hdfs directorio context control espacio y colocamos contexto ruta raíz julio
-->
listo julio vamos a ver un momento
-->
ah porque seguro vete al contexto vete al contexto del joke ahí donde estás vete a la
-->
sección de context ahí en la perspectiva que estás en la pestaña al lado de component está
-->
context context jolly start ficheros adult esa dale clic ahí dale a importar en el en
-->
el botoncito el otro el final es selecciona ahí por favor selecciona todo ok ahora si
-->
vete nuevamente al hdfs list doble clic listo dale control espacio y debe aparecer ruta raíz ok
-->
bueno ahora o lo siguiente vamos a hacer algo diferente entonces recordarás que lo voy a
-->
mostrar acá véanlo acá por favor note lo siguiente que hay unos componentes que tienen
-->
en la opción fila main e iterate ya la vio no pero véanlo acá del lado mío véanlo en mi
-->
pantalla y esto te pasaba en muchos componentes que estabas en el data integration había
-->
me y había iterate para qué sirve ese iterate ese iterate deberías usarlo cuando el componente
-->
de entrada es una colección una colección tipo array entonces tú quieres recorrer esa
-->
colección entonces qué va a pasar así voy a irme este fichero de acá este hdfs lo
-->
que va a hacer es que devuelve un array o sea en java o lo guarda como si fuera un vector
-->
entonces para recorrer un vector o una colección en java en este caso en la herramienta se
-->
hace iterando como él sabe que devuelve nada más ya un array dele clic derecho y
-->
aparece nada más iterate entonces manda aquí y lo conecta te da un color un poco subestivo
-->
y ahora vayamos a la configuración del te llave le doble clic al te llave el te llave
-->
perfecto doble clic al te llave después que iterate ese iterate es para recorrer una
-->
colección claro colección para java es un array puede ser un set un map no mentira
-->
este diccionario es set array list vector son los con los arrays para los colisiones para java
-->
borra por favor ese ese código que tienes ahí y agrega lo siguiente vas a escribir la
-->
palabra system con s mayúscula vamos a escribir hasta sys s mayúscula y s control espacio
-->
sale error si a todo le salió error no sé a mí fue nada más que me salió error
-->
si le aparece lo mismo listo entonces es un problema de configuración aquí por defecto
-->
dele clic al enlace que dice con ten asis con ten asis
-->
y aquí hay una opción que dice basic proposal la deschulea basic proposal esa que está aquí
-->
la deschulea la aplica y cierra al final
-->
ok intenta nuevamente control espacio y si aparece la palabra system ahora vamos a ver
-->
vamos a ver si no la parece estamos bien a quien dijo no parece así a eva
-->
así vamos eva listo dele control espacio a ver ahí control sostenido espacio dele
-->
listo de listo dele aplicar y cerrar dele aplicar y cerrar la ultima opción
-->
dice cierre esa ventana y dele nuevamente control espacio escoge asisten que es lo
-->
que estoy buscando ahí sisten el sistema escoge aquí le doy punto escojo la opción
-->
que es la tercera punto por inc y escoge la opción pring ln creo que está bien lejos
-->
creo que me queda más fácil escribir la pring ln y me aparece en paréntesis ahí fórmela
-->
ahí la idea es que autocomplete perfecto ahora mire lo siguiente la perspectiva cuando yo
-->
quiero utilizar algunas variables todos los componentes de talent que ofrecen unas
-->
variables de que puedas usar que fue lo que hicimos ahorita como aquí al teyaba le entra
-->
el thd feliz voy a buscar que variables me llegan aquí al teyaba vayas en la perspectiva online
-->
y expande el hd feliz y aquí hay varias variables tome current filename y pégelo
-->
inténtelo pegarlo dentro de las paréntesis que quede dentro de paréntesis creo que no va
-->
a quedar no me quedó así pero al final me debería quedar así te lo voy a mostrar mejor a lo hago
-->
así para que lo veas mejor cómo te quedaría
-->
debería quedar más o menos así o sea la variable que solté debía quedar entre los paréntesis
-->
listo te voy a quedar de esa forma si quiere toma esa al otros de que termine en punto y coma
-->
si quieres al otro system punto no prigale me voy a copiar este de aquí voy a dejarlo así abierto
-->
así así con el paréntesis y suelto aquí el que hice current file directory y lo suelto
-->
aquí en el medio hay que me quede no el señor no senta ahí no es donde yo quiera es donde
-->
aquí en el medio me quedaría
-->
voy a intentar ejecutar mientras usted va haciendo ya para decir no hay ningún error
-->
bueno voy a ver para ver si hay alguno que tiene error por ahí
-->
está cargando cargando cargando menos hoy ya está demorando un poquito
-->
debería devolverme los dos ficheros que son producción y
-->
listo ahí está ejecutando si está ejecutando el show correcto así está ahí me devolvió
-->
producción y me dice la ruta donde está que es hdfs 10.0.3 50 es las imputas
-->
o sea el berto tiene es un error muestra para ver dale ok si quieres vete mejor
-->
al co si eres tan amable al co
-->
y vemos exactamente donde tiene ese error punto rojo contes ruta rey a no importaste
-->
seguramente vete al diseer vete a al diseño nuevamente el designer
-->
dale en el contexto de la perspectiva de configuración que es la que está en el medio
-->
ahí contextos click ahí creo que no se llamaba entonces doble clic al al tdf a la
-->
confesión del t hdfs que tiene ahí doble clic baja por favor pero la confesión del
-->
hdfs dale doble clic por favor a darle doble clic que se perdió baja a listo ahí hay un
-->
problema ahí borra hasta hasta borra de raíz hasta la t le faltó un punto ahí borra de raíz
-->
ahí borra borra hasta la t sigue borrando hasta la t dale control espacio ahí y escoge
-->
ruta raíz es que le habías colocado un guión ahí y no sentaba ejecuta ahora nuevamente
-->
para ver también es un error allá para ver vamos a ver qué tienes ahí
-->
sube para ver yo sube para ver yo a ver la ruta de lo que también vete al hdfs la ruta
-->
está mal dale vete a bueno a vete al contexto antes perdón vete al contexto del diseño
-->
ahí en la perspectiva central dice ahí bueno ahí está bien vete al hdfs doble clic por favor
-->
porque la colocaste entre comillas doble como es una variable de referencia no va entre comillas
-->
doble porque intenta colocar eso de manera fija quítale la doble la comilla que inicie
-->
comillas que finaliza al hdfs directory porque es una variable de contexto entonces
-->
no necesita comillas doble dale ejecutar ahora sí perfecto ahí está listo y asmin tienes un
-->
error muestra para ver porque colocaste en primer lugar existe con y muestrame ahora el
-->
designer un momento el designer dale doble clic al ya va listo en primer lugar existe con y
-->
cambias es y latina por y griega ahora el paréntesis que abre en esa línea que está
-->
ahí el ln ahí es ln y es y ln en minúscula en minúscula porque si no le hizo ahora ese
-->
paréntesis que abre siérralo en la línea 3 la que está vacía línea 3 está vacía esa que está
-->
ahí cierra paréntesis y punto y coma punto y coma dale entre ahí enter nuevamente ahí enter
-->
y cópiate la primera línea del código y la pegas ahí o tiene el espacio ahora está
-->
ubicado lo mismo porque si no y pégale ahí dale guardar y veamos el co un momento
-->
para ver qué pasa perfecto ahí tienes las producción y la carpeta donde está
-->
bueno hagamos un pequeño break de 10 minutitos para tomar algo frío y volvemos entonces a las
-->
2 y 30 en 10 minutitos bueno a 1 y 30 justo allá ya volvemos
-->
bueno continuamos entonces
-->
bien hagamos el último ejemplo de este job de hadut que es ahora es leer el contenido o
-->
utilizar un archivo que está en el sistema hadut eso entonces vamos a lo siguiente no estoy
-->
en la máquina que no es la mía esto no es la mía ahora está poco la mía esta si es la mía
-->
creemos un nuevo job ahora crear job
-->
job lo vamos a llamar job leer
-->
fichero y luego a colocar la palabra desde hadut
-->
perdón el anterior
-->
cuál el anterior o ese sí perdón yo estaba hablando aquí no que es
-->
pero tiene el micrófono para me decía que entienden error
-->
eva cuando lo ejecutó se le un error maestra para ver
-->
sí
-->
ok muestrame
-->
exactamente muestrame para ver el cambio es de cambio y cambia eso que es ahí cámbialo
-->
pero quítale no pero si las comidas doble porque la variable de contexto no
-->
está comidas doble listo quítele con otro espacio y busque ahí el segundo
-->
opción si de ruta raíz y ahora ejecute por favor si está amable
-->
y lo que más es que cuando es variable de contexto no necesita comillas doble para
-->
referenciar
-->
pues cierro aquí bueno para nuevamente que fue la pregunta bueno para
-->
reforzar la pregunta que me hicieron ahora si yo tengo una variable en java
-->
por ejemplo es string string x igual a hola
-->
no es lo mismo yo voy aquí si uso la variable por ejemplo usarla aquí
-->
sumamos que esto es una función de java aquí si yo mando a escribir x de esta
-->
forma lo que hace que busca la variable x se escribiría hola pero si la
-->
colocó entre comillas doble lo que coloca el valor estático es x
-->
entiendo ahora si yo coloco x más x lo que hace que coloca de manera
-->
estática esta x y le coloca irreferencia la variable x entonces
-->
cuando es contexto no hay que colocar entre comillas doble porque si
-->
le colocó entre comillas doble está tomando el valor de la variable estática el
-->
contexto bueno comentaba que se había perdido la comunicación el micrófono
-->
apagado vamos a crear un nuevo job que va a ser el último en la familia de
-->
javuz que lo vamos a llamar job leer fichero desde javuz
-->
y esperamos que nos cree el canvas
-->
perfecto aquí vamos a hacer un par de cositas ahora entonces vamos a agregar
-->
este va a ser el último job de javuz de las familias de javuz vamos a
-->
agregar un componente que se llama ht hdfs
-->
hdfs vamos a llamarlo es se llama inputs hdfs
-->
inputs
-->
hdfs inputs y vamos a colocar aquí sencillamente un telok row
-->
nada del otro mundo nada complicado un telok row
-->
y conecte por favor el hdfs inputs al telok row vamos a configurar este hdfs
-->
doble clic y voy a usar la conexión estática que tengo de repositorio
-->
entonces como hay property tie voy a repositorio aquí cojo repositorio me
-->
aparece una casilla de texto con un botón y procedo a buscar la conexión
-->
que había configurado anteriormente
-->
hdfs hizo
-->
y esa axa
-->
perfecto listo y toma la configuración
-->
me pide ahora leer el nombre del archivo entonces en ese nombre de
-->
voy a hacer lo siguiente voy a darle aunque yo creo que si
-->
doy aquí debería conectarme a javuz si aquí es saber
-->
si aquí está doy clic clic y me conecta a la máquina virtual
-->
es cualquier que usted quiera y de producción vamos a tomar todo producción
-->
ok
-->
a ver si este más no creo que este más
-->
no lo ejecuyo todavía porque ahora hay que resolver un problema ahora este
-->
tipo de archivos que es text file y sequence file lo voy a explicar más
-->
adelante ahí vamos a tomar el caso de los archivos en formato parquet
-->
pero bueno ahora lo hacemos un momento ok tomamos producción punto ccv
-->
listo y prestación siguiente recordará que todos estos archivos que
-->
son jason xml ccv tienen un esquema de la metadata es decir de las
-->
columnas no tanto está en el nombre la columna porque la columna puede
-->
llamarse como usted quiera está más en el tipo de columna y el orden en
-->
la va a sacar entonces si vemos aquí este input editar esquema no tiene
-->
esquema el esquema hay que definirlo
-->
vayas a editar esquema que está al principio ese esquema hay que definirlo
-->
si el archivo es muy grande sale muy tedioso aclaro no complicado muy
-->
tedioso ir uno por uno y ir agregando aquí componentes aquí sale
-->
muy tedioso entonces cuál es el truco el truco es el siguiente
-->
quiero el esquema del archivo producción listo entonces tú puedes
-->
hacer lo siguiente si el archivo muy grande le pide a la persona que te
-->
mande el archivo con por lo menos dos dos tres filas para ver la
-->
estructura del archivo como el archivo tenemos a nivel local mira
-->
lo que vamos a hacer aquí vayas al fight delimited y vamos a crear una
-->
conexión a ese archivo en el mundo real tú vas a pedir una copia
-->
previamente con tres filas dos filitas para ver la estructura click derecho
-->
vamos a crear un archivo delimitado y lo vamos a llamar producción
-->
producto está en inglés producción vamos a darle aquí next por favor busque el
-->
fichero producción lo tenemos en temporal
-->
entén tenemos producción este que está aquí a abrir
-->
está separado por coma entonces vamos a darle aquí next
-->
en la parte de codificación no lo va a tener en cuenta recuerde que la
-->
codificación es interesante cuando estén en el idioma español portugués que
-->
tiene símbolos especiales en este caso el aquí debería funcionarme bien a
-->
bueno a menos que haya caracteres especiales
-->
vayamos a lo seguro cosas ustedes f8 mejor pero tampoco me da lo mismo lo
-->
que quiero hacer el separador es coma y dígale que
-->
tiene encabezado la el archivo y le da refresh
-->
listo aquí ya no hay más nada no hay que hacer nada me interesa es la
-->
metadata el nombre las columnas y el orden en que está el nombre no tanto
-->
pero sería interesante que vamos a ver aquí next bueno ya le da finish al
-->
final bueno en ese punto nos vamos quedando en este punto mejor
-->
aquí lo hacemos facilito notará entonces que cuando yo tengo una
-->
metadata hay dos botoncitos que le aparecen en la parte de abajo
-->
bueno varios botones pero en realidad estos botones son para agregar
-->
eliminar cambiar el orden pero me interesan los dos últimos el penúltimo
-->
es para exportar el esquema o sea la estructura como la tengo
-->
y no sé vamos a escoger el penúltimo botón
-->
y vamos a vamos a llamar a este señor esquema
-->
donde el score producción productión en realidad y no se le olvide el punto
-->
c sv puntos perdón punto xml no se sube punto xml formado también xml le
-->
da guardar por favor guardar y le da finish aquí perfecto ese archivo lo
-->
hice para sacar y exportar la estructura de la metadata pocas palabras
-->
las columnas ahora váyase a nuevamente al h al t hdfs input
-->
vayamos a editar esquema y aparece por defecto un botón que está en la
-->
posición del otro de les por ver test import vayamos import y vamos a buscar el
-->
esquema producción que es el esquema que saqué
-->
voy a abrir y debería retornar el esquema que saqué exporte le vamos a
-->
dar aquí ok y es que propagar los cambios si
-->
terminó por favor asegúrese que el yo que vaya a ejecutar es el
-->
recto del rum y debería retornar los datos del archivo producción que está
-->
allá adentro en hdfs dejado
-->
perfecto
-->
espero para ver si le salió algunos
-->
hasta el momento lo que hemos hecho son funciones de almacenar de
-->
almacenamiento sobre hdfs todavía no hemos hecho ningún procesamiento con
-->
big data solamente almacenamiento no hemos hecho
-->
procesamiento todavía bueno listo parece que ese archivo
-->
grandecito tanto pues espero para ver si a todos nos funcionó
-->
si creo que a todos nos funcionó perfectamente
-->
hernesto está ejecutando creo que bueno seguimos terminamos el ciclo de
-->
adud y ahora vamos a hacer un ejemplo que seguramente te va a tocar porque yo
-->
creo que tú tienes montado ustedes tienen montado muchas cosas sobre
-->
asho entonces en este caso no tengo cuenta de asho tengo cuenta de a dos
-->
pero va a ser muy parecido voy entonces a hacer ejercicios que mezclen adud y
-->
s3 que sería en asur como se llama que se me escapa como es se me escapa
-->
como es el s3 el nombre s3 en asur como se llama el sistema
-->
bueno ahora lo busco
-->
ese es como se llama disculpe ese log stories
-->
es bueno vamos entonces lo siguiente
-->
yo tengo un amigo que es fanático a
-->
a dos a dos es el trabajo en a dos luces no pero trabaja con a dos luces no
-->
trabaja en acción trabaja con a dos luces pero entonces él es muy fanático
-->
y él entonces para él a dos luces es lo mejor que existe o sea lo demás no
-->
sirve no sé yo le lo molesto yo digo pero si es s3
-->
ese 3 es como si fuera una carpeta es como decir un google drive entonces se
-->
molesta que cuede rabia y vea busca un libro gente que es fanática pero si
-->
usted analiza el s3 al final tenía siendo un parecido google drive lo que
-->
es que con el cloud front y muchas cosas pues tú tienes algunas cosas
-->
interesantes de replicación pero es un google try al final pero se
-->
molesta que le diga eso
-->
en estos momentos parece que tiene error
-->
listo vaya por favor creando un folder llamado s3
-->
s3
-->
voy a tu ventana un momentico hernesto ver que este noto que tiene es un
-->
error dice
-->
ops
-->
muéstrame tu tu archivo input muéstrame el esquema de input
-->
el esquema de input editar esquema ok
-->
él dice muéstrame nuevamente el error nuevamente el error por favor muéstrame
-->
nuevamente a es que ese archivos a listo ahí fue
-->
error mío en realidad no tuvo en cuenta vete a tu hdf input por favor
-->
nuevamente que pena si mis cálculos no me fallan
-->
ese señor está separado por coma baja por favor baja por favor baja no
-->
dile que carácter ahí colocaste coma también entonces ahí para
-->
descomplicarnos la vida y ver que te funcione no sé por qué no te funciona
-->
pero vamos a ver el problema es el siguiente vete nuevamente el esquema
-->
ve nuevamente el esquema si está amable y ahí la variable esa y croc
-->
giard ya coloca la string que hay algo que no está está convirtiendo
-->
mal colocale tipo string dale ok y vuelve a ejecutar para ver
-->
ahora tienes un error con aria cambiarte también aria string
-->
que claro que bueno el error técnico es que intenta convertir un una a una
-->
vez lo que encontró por ahí en flot o en integer y bien tienes al error
-->
ejecutas y ya debe funcionarte pero claro que no sé por qué a ti no te
-->
funcionó ahí hay que ver para ver perfecto déjela así entonces perfecto
-->
sigamos entonces vamos aquí a s3 y vamos a hacer entonces algo muy
-->
parecido aquí con jadot clic derecho en s3 y vamos a crear un nuevo
-->
este job lo vamos a llamar job subir fichero
-->
on the record s3 nada más parecido pero a jadot la diferencia que voy a subirlo ahora sobre
-->
s3 le damos aquí finish voy a cerrar los demás
-->
no lo voy a usar por ahora los
-->
deje de ser que es ahí agreguemos los componentes aclaro que esta conexión
-->
al s3 no está como metadata está como componente es decir no puedo
-->
colocar una conexión fija al igual que con jadot o bases de datos no aquí este
-->
señor no lo permite entonces agregamos los siguientes componentes primero voy a
-->
tener un componente de tipo s3 connectio s3 conectio voy a tener un
-->
componente de tipo s3 put y por último un componente de tipo s3
-->
close de s3 close
-->
voy a hacer esto distinto a lo que he venido trabajando anteriormente voy a
-->
agregar dos componentes presta atención para que no se le olvide lo siguiente ahí tengo
-->
como esos componentes no están unidos tengo tres sus yo no están unidos entre sí entonces
-->
yo podía definir un orden es decir yo podía integrar a estos señores con un disparador
-->
colocarle un suyo que aquí y un suyo que acá no la gusta ya por favor es para recordar
-->
esto con suyo que acá y me quedaría exactamente los tres sus yo pero aquí estoy definiendo
-->
un orden primero ejecuta este después ejecuta ese y por último ejecuta ese esa es una forma
-->
cierto la segunda forma que le había mostrado es unir estos componentes con un componente
-->
ok significa lo siguiente que ahora no tengo tres suyos sino un solo suyo con la diferencia ahora
-->
es que el componente siguiente se gusta siempre y cuando no haya habido error en el componente
-->
anterior eso es lo que es el componente ahora voy a agregar dos elementos diferentes
-->
estos elementos hacen prácticamente lo mismo del un suyo que hay siendo que ahora en teoría
-->
alguno dice que te vuelve el yo más elegante o en otro que te lo es más fácil de leer busque
-->
dos componentes uno que se llama te para ello pere de antes pre yo
-->
y coloque un te pos yo
-->
bueno explico ese te pre yo que está ahí
-->
se ejecuta antes del primer suyo que tengas y el te pos yo se ejecuta después del último
-->
suyo que tengas normalmente el te pre yo lo utilizamos para labores de conexión o de
-->
iniciación de elementos en el suyo y después define lo suyo que tenga el orden que tú quieras y
-->
el te pos yo lo que hace es normalmente cerrar conexiones aclaro que esto es simplemente darle
-->
un poco más de elegancia pero vamos a lo siguiente conecte el te pre yo con el te s3 conectio
-->
con un component ok ese que está aquí
-->
conecte el te pos yo con el te s3 close
-->
ahí te quedan tres suyos al final el primer yo que se ejecuta es todo lo que está en el
-->
te pre yo que se ejecuta antes del primer suyo el suyo es todo lo que no está conectado ni
-->
al te pos yo ni al te pre yo o sea que nada más tengo un solo componente como suyo que
-->
después que se termine la ejecución de todos los suyos se ejecuta al final el te pos yo
-->
algunos dicen que esto documenta mejor que sea más elegante pero es simplemente pues
-->
diferentes formas de hacer lo mismo esto mismo al conectarlo con un suyo ok me da
-->
exactamente lo mismo pero bueno son formas de hacerlo bueno este vamos a tomarnos entonces
-->
el descanso para el break y volvemos en en una horita ok en una eso bueno igualmente buen provecho
-->
bueno nuevamente buenas tardes continuamos
-->
aquí me escribieron algo de el caso estudio de ayer si tiene hoy a qué preguntas tenía con
-->
respecto al de ayer acabo de leer el clases siendo sincero acabo de leer solamente ahora
-->
que me acuerdo esa máquina virtual la borraron verdad o todavía puede hacer esa máquina
-->
pero ahí fue que error mío pero no se preocupen mándeme como lo tenga y le corríos acá después
-->
porque va a haber problemas con algunos que no puedan acceder a la máquina más de lo que
-->
tenga no preocupa y yo le resuelvo los puntos que hagan falta porque se me escapó que esa
-->
máquina la borraba sí sí sí sí sí sí fue error mándeme lo que tenga no se preocupe no
-->
colocarle mala nota yo le los puntos que falten ahí los corridos fueron míos que a mí se me
-->
olvidó que esa máquina la cerraba pero lo que tenga mándeme el correo por su favor
-->
yo se preocupo por lo demás yo le agrego ahí lo demás y si fue claro no vamos a batir
-->
seguida más de lo que tenga yo le agrego lo demás ahí porque es que se me escapó que
-->
verdad que esas máquinas las borraba y lo que decía verdad que sí que después de 15 minutos
-->
ya usted no puede hacer más nada entonces va aquí ahí lo mande eso mande ahí para tener
-->
la evidencia de que mandó el correo nada más y lo que tenga y bueno continuemos entonces con
-->
respecto a estos ejemplos que tenemos aquí y listo vamos había dicho esa forma un poco
-->
digamos elegante de hacer un job en este caso usar el teprayop que es el primer subyok que
-->
se ejecute quiere decir entonces que a ese señor todos los componentes que estén agregados
-->
al teprayok se ejecutan antes del primer subyok que se encuentren y el teprayok se ejecuta
-->
después del último subyok que se encuentra en este caso nada más y un subyok que es el
-->
intermedio entonces se ejecutaría primero la conexión después el put y por último el
-->
listo vamos a configurar entonces este tc3 connection por favor vamos a la carpeta compartida
-->
a la carpeta compartida
-->
no es la otra forma es quitar este suyo este preyot de aquí este preyot de aquí y lo que
-->
es que conecto con su subyok quedaría así entonces digo que es elegante porque puede ver que
-->
con el con el anterior lo que puedo evidenciar que se ejecuta de primero y que se ejecuta de
-->
último digamos algunos lo llaman elegante pero a mí casi bueno yo sí lo uso bastante en el
-->
sentido de poder organizar que es lo que inicio que es lo que ejecuta y que es lo
-->
que finalizo nada más es eso son diferentes formas de hacerlo no le veo si tampoco tanta
-->
mucha o sea diferencia en la forma de conectarlo con un subyok no hay ninguno ok por si las
-->
dudas bueno vamos a configurar este tc3 connection vamos a la carpeta compartida el one drive
-->
colocamos aquí one drive ya ya lo habíamos aquí está db3 dbd
-->
y hay una opción que dice búsqueda que dice credenciales s3 credenciales s3
-->
no descargue vamos a copiar directamente de aquí a abrir el archivo tequitec está ahí
-->
por favor nada más abre el archivo tequistec y tiene ahí no lo vamos a copiar primero el
-->
access key listo lo voy a copiar y me voy a la configuración del tc3 connection aquí le
-->
digo que instale el componente que no lo tengo instalado eva creo que está en credenciales
-->
pero estabas más través de estas sí te crece al s3 la segunda credenciales s3 ahí está
-->
esa es una creencia del correo devuélvete que usted es el clic antes devuélvete sube de nivel
-->
cierra y nos cierra y me forciera del lado derecho su listo sube de nivel a tbt ahí a tbd
-->
tbd credenciales s3 la segunda credenciales dele clic por favor en credenciales ahí y
-->
copia ahora la que dice access key access key no solamente la el valor que empieza desde a
-->
el valor nada más le queda más fácil dándole doble clic a la palabra dale doble clic a la
-->
palabra que se asesiona completa ya está ahí ahora cópiela y la vamos a colocar en
-->
el tc3 connection vayamos a la confesión del tc3 connection
-->
y la colocamos en la sección del access key dentro de comillas doble dentro de las
-->
comillas doble colocamos el access key alejandro al instalar por favor igual eva dale instalar
-->
al componente que no está instalado perfecto bajamos a instalar listo listo si ya terminó
-->
copia ahora el secret key desde el más aquí sí me toca seleccionar todo porque ahí con
-->
doble clima se ha hecho una parte entonces y lo colocas en el secret key dentro de las
-->
comillas dobles listo ok perfecto ahí tengo vamos ahora al tc3 put y vamos ese es parecido
-->
vamos a usar una conexión existente y use conexión existente y listo le aparece por
-->
efecto la que está conectada que es tc3 connection bien el bokeh el bokeh prácticamente es una
-->
carpeta el bokeh vamos a colocar donde dice bokeh prácticamente una carpeta vamos a llamarlo se
-->
se llama noble prog de como de programación hasta la g noble prog lo voy a mandar aquí
-->
o lo voy a colocar acá mejor entre comillas doble quedaría noble prog entre comillas doble
-->
queda noble prog sería el bokeh la carpeta pero se quieren refinar con la palabra bokeh
-->
y ahora en noble prog vamos entonces a hacer lo siguiente noble prog y ahora
-->
continuó con la configuración del put y ahora el key el key va a ser el nombre con que tú
-->
quieres que subamos el nombre del archivo en este caso entonces voy a llamarlo vamos a
-->
colocarle el prefijo su nombre para que cree una carpeta allá en el bokeh o sea en este
-->
que sería el nombre la carpeta que crearía en ese bokeh y la otra es el archivo aquí dese
-->
cuenta que este señor put si me tocaría hacer varios me tocaría colocar subir varios me
-->
tocaría colocar varios put porque este put nada más permite subir uno al tiempo entonces
-->
vamos a escoger aquí en el menú escoja producto que es el que quiero subir en la
-->
s3 close el que cierra y ya por defecto tiene configurado la conexión que va a cerrar bueno
-->
mientras tanto mientras revisa para ver voy accediendo a mi bokeh noble prog que
-->
es el que usted va a subir para verificar si le funcionó el archivo entonces listo
-->
voy a ejecutar para ver verifique que vaya a ejecutar el yo correcto voy a ejecutar aquí
-->
y voy a verificar entonces si funciona o no funciona de eso bien está ejecutando
-->
y quién me habló y dar el ronin background un momento con en background
-->
y que tiene ejecutando falló de nuevamente rum para ver
-->
el dar el detail y darles detail para ver muy detail darles detail ahí un momento
-->
dale en el punto rojo ahí en los puntos rojos para cancelar y en el de abajo también eran
-->
dos dale para ver no no porque eso queda a lo siguiente mejor no sé qué está pasando ahí
-->
por si la duda le hizo de la casa momento y vuelve a ejecutar para ver no
-->
y restaura restaura la el archivo por restaura por favor la aplicación del
-->
archivo restaurar porque no sé que en qué se queda está colgado al restar y esperamos
-->
un momento y vuelve a ejecutar ese dale salvar por si acaso ahí se le da tu error dale ok
-->
y dale ok para que él reinicie no sé si va a reiniciar porque salió un error antes
-->
cierra de todo modo el aplicativo y lo vuelve a abrir a ver qué pasó dale no salvar porque
-->
sale un error dale no salvar mejor no salvar y vuelve a abrir para ver un momento bueno
-->
voy a ver quién le subió mientras a hernesto le está probando ahí a ver
-->
bueno acá tengo lo siguiente tengo a jonathan subió el archivo aquí estoy mostrando en la
-->
pantalla martina también le subió y le subió a alguno me subió pero sin la carpeta me lo
-->
subió directamente producto un punto se sube no sé quién sería y aquí tengo también a jazz
-->
min que lo subió los demás no sé si tienen problema para ejecutarlo buena sesión de
-->
arnesto no sé quién alejano muestrame tu yo para ver si tú viste que subiste sin sin
-->
el nombre carpeta oye muéstrame ya voy a tocar a tu alejano quizá muéstrame tu putt
-->
por favor en el ts3 putt a cambiar el nombre carpeta jon alejandro para saber que eres tú
-->
dale cambiale a jon porque si no se describía sobre la mía alejandro y lo ejecutas por
-->
favor en esto vamos a ver si te guardó el yo porque yo burra algo raro ahí buscar yo para
-->
ver bueno acá tengo entonces adal ver catalina eva hector jonathan y ahora
-->
hernesto alejandro no sé si lo subiste ok ahora sí alejandro listo vamos a ver
-->
en esto lo va a ejecutar ahora así que se te arnesto es la producción punto se sube noble
-->
pro que exactamente y en el file stream por favor producción ejecuta lo para ver
-->
está efectivamente listo bueno terminemos esto de esta forma vamos a descargar este
-->
archivo del s3 y lo vamos a subir a hadut y terminamos la parte s3 aquí y seguimos con
-->
la parte de progresamiento porque al final estamos haciendo una más almacenamiento vamos
-->
a descargar este archivo que se llama demográfico punto ccv y lo que vamos a hacer entonces es que
-->
vamos y lo montamos en hadut para esta parte vamos a crear un nuevo yo que va a ser el
-->
último la familia de s3 entonces voy por acá no ese no porque ya tengo poco en ese
-->
boque poco archivo en ese boque entonces no cobra eso cura cuando tienen no recuerdo
-->
cuando el límite pero en ese límite no me cobran nada pero si sigo subiendo ahí pero
-->
ya archivo mucho ahí nada más no llega ni a ni a dos megas llega ahí esa cantidad
-->
de archivos que están ahí bueno vamos a ver listo entonces vamos a lo siguiente
-->
vamos a crear el último yo que de esa familia tengo donde tengo acá
-->
y vamos entonces s3 a crear crear yo vamos a llamarlo yo descargar
-->
con el escor archivo s3 con el escor subirlo con el escor
-->
yo descargar archivo s3 subirlo a adulto
-->
y listo voy a aprovechar lo que tengo en este yo voy a copiar este te preyok y el
-->
sd connection los selecciono los copio y los pego acá
-->
y me copio también el te postyok
-->
listo control c y los pego aquí
-->
ya de este yo no necesito más nada los cierro aquí entonces
-->
copié del anterior el te preyok y el te postyok
-->
busque un hadu que te funcione yo voy a coger cualquiera y me voy a copiar el
-->
el connection de ese hadu
-->
voy a copiarme el connection que el primero que hicimos fue subir archivo
-->
en hadu un te un te connection si me voy a subir me voy a copiar este en
-->
subir archivo hadu hay un te s3 connection perdón hay un t hdfs
-->
connection y me lo voy a copiar
-->
un momento que se me es este t hdfs connection lo voy a copiar y lo voy a
-->
pegar en el yo que tengo aquí perfecto y lo conecto al t s3 connection
-->
significa que el te preyok su labor fundamental con un component ok
-->
aquí todo significa que todos quedarían en el subyok del te el te preyok las
-->
conexiones los otros seguido como voy a descargar un archivo del s3 y lo voy a
-->
subir al hadu de nada me sirve tenerlo en la máquina local entonces voy a
-->
colocar aquí un te file deleted para que me borre el archivo porque tengo
-->
que descargarlo en la máquina que estoy para después subirlo a hadu
-->
entonces voy a conectar este señor un component ok y después lo configuro
-->
agreguemos los componentes para descargar necesito un te s3
-->
te s3 get
-->
para subir a hadu necesito un t hdfs put
-->
perfecto vamos entonces al t s3 get y vamos a configurarlo
-->
dígale que vamos a usar una conexión existente y este componente por defecto
-->
seguidnos a la conexión tomo la que está por defecto listo entonces vamos
-->
aquí en el bucket boke donde voy a descargar archivos se llama noble pro
-->
que es el mismo que teníamos ahora y el archivo se llama así ya lo voy a
-->
colocar acá como este s3 está montada en linux tiene que estar exactamente
-->
igual en mayúsculas y minúsculas ya le digo cómo quedaría
-->
el archivo se llama te quedaría de esta forma demográficos
-->
demográficos puntos sv confirmo para ver demográficos y con la d mayúscula
-->
porque s3 está montada sobre el sistema de ficheros de linux entonces es en sigla
-->
mayúscula y minúscula
-->
control c y me queda el ki de esa forma demográficos
-->
puntos sv
-->
ahora lo voy a mandar
-->
no me coge no sé por qué no me coge demográficos
-->
puntos sv lo voy a mandar entonces a la carpeta que tenemos del root path
-->
voy a quitar y voy a referenciar el context como el context es una variable
-->
de configuración no necesita comilla doble entonces borro todo este y voy a
-->
llamar aquí context que venga antes de esto tiene que importar el contexto si
-->
no no me da voy a hacer contexto y dele importar
-->
los contextos que están a nivel de proyectos se importan a nivel del job
-->
ahora sí le voy a dar context en el tc3
-->
context
-->
no necesita comilla doble porque lo que va a tomar el valor de la variable de
-->
ruta raíz si le colocar entre comillas doble es lo que va a buscar es
-->
contexto punta ruta raíz decir no ahora no el valor si no va a colocar
-->
más ahora sí porque le voy a agregar ahora un eslas y le voy a colocar el
-->
nombre demográficos bueno voy a copiarlo de aquí mismo y
-->
entre comillas doble lo hago
-->
se haría de esta manera así te muestro acá en él
-->
ahí está esta es la variable de ruta raíz más la adición o le concaten o
-->
este valor aquí perdón perdón que sí se la dejó gracias se la dejado
-->
pensé que esa la habíamos definido no sólo definimos eso verdad entonces
-->
quedaría de esta manera gracias pensé que era la de esa la dejado
-->
muchísimas gracias en realidad quedaría se dos puntos en las ten así
-->
que pena muchas gracias sino no no no no hubiese dado nunca nunca lo hubiese
-->
encontrado quedaría así algunos tienen la temporal se llama
-->
temporal
-->
si tiene toda razón verdad que sí muchas gracias
-->
perfecto y aquí tenemos esta parte ahora voy a conectar este señor aquí
-->
con este de acá con un component ok significaría que estaríamos en el mismo
-->
suyo significa que terminado este descargar
-->
pasa al siguiente señor al fiente hdf puto vamos a configurar el puto
-->
usar conexión existente ésta me la deja en blanco me toca seleccionar la
-->
mí
-->
voy a escoger como directorio local temporal que es donde me va a quedar el
-->
archivo cuando lo descargue entén y coloco ahora sí context ahora sí ruta
-->
raíz ese sí va y aquí está ticamente bueno que podíamos hacerlo
-->
con variantes globales para guardar o con variantes de contexto pero aquí para
-->
rapidez vamos a hacerlo vamos a colocarlo fijo el archivo que va a
-->
descargar ahí es demográficos
-->
puntos sv y lo voy a llamar exactamente igual en
-->
cuando lo copias a dos
-->
pero creo que el componente está listo nos falta el te file delete
-->
vamos a ir al ht s3 get y vamos a copiar la ruta que nos da ahí donde
-->
copiamos el archivo sse dos puntos ten vamos al de file delete y pegamos la
-->
ruta es quítele la opción que falle si hay error error cuando puede ser
-->
cuando de pronto no borre el archivo pero bueno voy a quitarle eso que está
-->
ahí y vamos a darle guardar aquí si acaso
-->
sí y ejecutaría primero el tse 3 porque lo agregué primero es recuerde
-->
bueno es una pregunta es decir lo ejecutaría de forma secuencial porque
-->
para ejecutarlo al tiempo me tocaría ir a caestra y colocarle multitrea ok
-->
vamos bien ahí entonces ahora ejecutaría primero el tse 3 porque
-->
fue el primer componente que agregué pero si hubiese que nunca me haya puesto
-->
pensar eso exactamente entiendo
-->
me tocó ir al código pero hagamos algo porque la respuesta no la tengo
-->
clara de esta noche investigo esa pregunta que usted me ha hecho nunca
-->
lo había pensado si tiene razón porque es que sin tan
-->
desconectados como sé yo cuál fue el componente que quedó primero
-->
permítame esta noche averiguar para ver si si me da la encuentro la forma
-->
pero es claro que si hubiese cogitado el ths put iba que usar un error porque
-->
no iba a contar el archivo tengo que descansarlo pero si tiene razón
-->
bueno vamos a probar aquí quedó con esa pregunta para resolverla
-->
mañana resuelvo la del te agrega y test bueno aquí creo que todo está
-->
bien vamos a ejecutar para ver
-->
listo ya marcó ok en el tse 3 que y subió supuestamente el archivo veamos
-->
revisemos el sistema de fichero dejado a ver si me agregó un archivo
-->
nuevo en input ahí lo tengo y no debería estar este archivo en esta
-->
máquina local porque lo mandé a borrar voy a temporal
-->
definitivamente no está verifique para ver que todo esté correcto y si no se
-->
le puede agregar permiso desde acá desde tal nunca lo he visto creería
-->
con una altísima probabilidad que no pero déjeme y lo busco para ver pero
-->
no pero interesante la pregunta yo investigo esta noche también pero creería
-->
que no porque a ver la carpeta yo la coloqué con todos los permisos que fue
-->
777 esa carpeta se copia con los permisos que está ahí no creería que
-->
no pero déjeme investigar para ver creía que no eso es si les funcionó a
-->
todos revisen por favor el sistema de ficheros tiene su error jose
-->
para ver voy a acceder a tu máquina un momento
-->
ok lo que es en ese caso vete a tu t hd fd put si tiene razón pero fíjate
-->
vamos voy a volver a ejecutar el mío nuevamente
-->
y veamos y cómo solucionamos el error que más va a marcar
-->
listo ahí está listo aquí marca por qué porque aquí en este t h s put
-->
en el acto en un file yo le digo create entonces al crear solamente lo
-->
intenta crear nada más si está creado marca error entonces aquí la
-->
mejor opción es over white este que está aquí que si no está creado lo
-->
crea si no lo sobre escribe y aquí seguramente si yo vuelvo a ejecutar
-->
pues no habría ningún problema
-->
ahí está ahí el problema era la configuración del acto en un file
-->
listo perfecto hágame un pequeño favor mandeme inmediatamente mandeme lo
-->
del lo que tenga ahí que me quede registrado aquí el correo suyo del
-->
del caso de estudio de ayer porque me toca mandar más de lo que tenga no se
-->
preocupe yo lo después le agrego ahí pero la idea es que tenga aquí la
-->
evidencia de que me envió el correo
-->
si mándenmelo todo por favor lo que hace falta porque nada más tengo el
-->
de hector y el de catalina los demás no los tenga al momento y buscar
-->
algo de agua que hace calor bastante acá ya ven un momento
-->
bueno volví aquí a ver quién me mandó a ver bueno tengo los siguientes tengo
-->
a villegas villanueva tengo a navarro rorríguez tengo hernández hernández
-->
catalina y esto ya habían mandado faltarían algunos por favor antes
-->
hagamos lo siguiente en la máquina virtual por favor porque es importante
-->
eso váyase y conéctase nuevamente al hyper pi aquí en el escritorio
-->
hay pervi
-->
que creía que esa máquina bueno pero por si las dudas
-->
váyase a la máquina que dice que está ejecutando le da clic aquí
-->
clic derecho y le dice guardar eso debería guardar la máquina en ese
-->
lado el derecho guardar
-->
y debería dejar la máquina justamente en ese estado en que está
-->
por favor acá me llegó cano martínez
-->
y rodríguez villalobos es decir tengo 1 2 3 4 5 6 7 me faltan 4
-->
y tu apellido que estoy viendo aquí lo apellido es albares bueno tengo huerta
-->
tengo villegas tengo chávez tengo navarro hernández cano no de pronto
-->
está un poco más lejos acá te mandaron pues que demoró me llegaron
-->
dos aves que después me llegaron dos es como que demora para llegar y
-->
como que demora para llegar el caso estudio ayer y lo mandaste no sé
-->
quién me habló si lo mandaste bueno manda lo que tenga acá me llegó
-->
albares ahora sí ya me llegó albares ramírez bernardo demoraron como un
-->
tiempo para llegar y me faltarían cuánto me faltaría acá me llegó
-->
medina
-->
y me faltaría quien creo que me falta
-->
ok
-->
bueno el día de mañana para concluir esta parte de hoy entonces el
-->
día de mañana vamos con la parte de procesamiento porque hoy en día o el
-->
día de hoy nos dedicamos más que todo almacenamiento sobre el sistema hdfs de
-->
jadu aclaro que los ejemplos que tengo preparados pues se sirvan en el
-->
contexto de lo que hace normalmente uno sobre sobre archivos sobre
-->
digamos sobre el procedimiento en bit data pero la cantidad de filas no es
-->
tan grande porque tiene que tener en cuenta en que el closet de jadu lo
-->
tengo montado sobre una máquina virtual que tiene dos gigas entonces tiene que
-->
ser un archivo bastante pequeño en un ambiente real pues tiene muchísimas
-->
más máquinas para ejecutar y tiene más infraestructura pero al final el
-->
ejercicio que vamos a hacer es lo que usted hace típicamente con con
-->
ejercicios típico bit data lo único que noto y podía hacer una crítica
-->
con la herramienta es que la herramienta está más pensada para
-->
el procesamiento de bit data sobre archivos estructurales
-->
si me tocaría procesar algo no estructurado tipo un audio tipo vídeo me
-->
tocaría agregar un pequeño script para poder tokenizar algo que tenga ese
-->
audio o hacer algo que tenga el texto es para decir los limitantes de la
-->
herramienta de todos modos no sé si en la última versión del señor
-->
se habrá agregado algo con respecto a no estructurados
-->
pero listo entonces aquí eva tu apellido cuál es para confirmar que me
-->
llegó si es la que me habló
-->
bueno mendoza no me ha llegado todavía tengo medina alvarez rodríguez
-->
cano en andec navarro en mendoza no me llega hace cuánto enviaste que es
-->
raro bueno es por si las dudas aunque con bernardo a veces también se
-->
me queda y se demora un rato bueno dejamos el día de hoy hasta aquí y
-->
seguimos allá mendoza mendoza verdad si esto sí sí ahí está mendoza
-->
perfecto ya llego ya llego perfecto bueno nos vemos el día de mañana para la
-->
parte de procesing entonces listo si dígame si en esto te quedó en
-->
tu máquina no te preocupes yo esa máquina todavía puedo acceder el día
-->
de hoy ok yo hasta cuando se que no te cuente que que repete estaba lo
-->
sí tengo un archivo no pat
-->
es bueno huérpate ver el huérpal sería huérpal para agregar la imágenes de
-->
huérpal listo yo debería estar entonces abro huérpal que debería
-->
aparecerme entonces debería parecerme a el último archivo modificado
-->
cerremos aquí apaguemos la máquina esa entonces porque esta máquina la
-->
tengo con 15 gigas y consume bastante paga más uno para esta máquina
-->
apagar aquí
-->
listo apaga directamente cierra el talent y la paga
-->
no te preocupes entonces yo lo saco de ahí porque tú ya tengas de hacer la
-->
máquina