53:13
2024-02-27 11:14:58
18:56
2024-02-27 12:46:43
2:18
2024-02-27 13:12:41
5:01
2024-02-27 13:33:55
Visit the Talend Big Data Integration course recordings page
United Arab Emirates - Talend Big Data Integration
WEBVTT
-->
no me cuente, ¿Me escuchan? Sí,
-->
ahora sí, ahora sí, con el y
-->
ya ahí quedamos. Bueno, voy aquí
-->
entonces, voy aquí, esta es mi
-->
máquina, no, no, no, no, no,
-->
sí, yo, sí, yo. Listo,
-->
configuramos entonces el TS3
-->
por favor, dele doble clic
-->
y el S tres eh para
-->
conectarte a esa carpeta, no es
-->
amacemente virtual, tiene
-->
diferentes formas de
-->
conectarte, ¿OK? Yo creo un
-->
bokeh especial para esa parte,
-->
entonces, cuando tú
-->
descargastes, cuando
-->
descargastes los archivos,
-->
descarga tu archivo que se
-->
llama AWS. Entonces,
-->
lo que se reemplaza eh te pide
-->
primero el access key,
-->
entonces, cópiate el access
-->
key de aquí, de esto que
-->
tengo yo acá, control C,
-->
y pégalo en el access key,
-->
recuerda que como este Java
-->
tiene que ir entre comillas
-->
doble, y acto seguido eh te
-->
va a pedir un secret key,
-->
ahí lo tienes, copia desde el
-->
más hasta el final, y lo
-->
pegas aquí en el señor,
-->
aquí lo pegas aquí, dentro de
-->
aquí, entre comillas dobles,
-->
y ahí lo tienes, ¿OK?
-->
Vas a configurar el secret key
-->
y el access key. Recuerda que
-->
como es Java, tiene que ir
-->
entre comillas dobles el
-->
valor que vas a pegar. Sí,
-->
todo va entre comillas dobles,
-->
exactamente. Es porque como
-->
es un string, y como el
-->
lenguaje que está por debajo
-->
de Java, necesariamente
-->
necesito las comillas dobles.
-->
Todavía en este paso no he
-->
no he hecho nada con con
-->
Hadu. Estoy ambientando el
-->
tema para el data lake. Creo
-->
que
-->
Sí, la que está por defecto.
-->
No hace más nada así. Sí, es
-->
la que está por defecto ahí.
-->
No, está de creencia, esa es
-->
la que tomas. Está de
-->
creencia. Eso. La que está
-->
por defecto exactamente. La
-->
región por default. Que creo
-->
que la tengo en el este no
-->
me acuerdo ahora. Bueno, no
-->
me acuerdo donde lo hice. La
-->
que esté por defecto ahí,
-->
no hay problema. Bien, ahora
-->
si sigamos entonces. Ahora voy
-->
a subir, vamos a subir tres
-->
archivos que vamos a utilizar
-->
durante entonces la práctica.
-->
Entonces, vamos a hacer lo
-->
siguiente ahora. Para subir un
-->
archivo, este es un poco más
-->
engorroso aquí esta parte de
-->
del tal en la forma. Entonces,
-->
una forma es eh búscate uno un
-->
cómo se llama TS tres
-->
subamos dos porque si no
-->
estamos más tiempo entonces
-->
voy aquí TS tres voy a
-->
colocar un TS tres por cada
-->
archivo que vaya a subir.
-->
Anto seguido entonces
-->
configuremos el primero.
-->
Aquí le vas a decir que vas
-->
a usar una conexión
-->
existente y vas a buscarte
-->
sale por defecto y es la
-->
que tienes. Y aquí tienes
-->
entonces el bokeh, el bokeh
-->
que es una bonita carpeta
-->
carajo. Ese tres es el
-->
y el bokeh es una carpeta, eso
-->
no lo puede negar a nadie. Una
-->
carpeta. Por favor, sigue
-->
sígueme el siguiente estándar.
-->
Ya yo tengo una carpeta creada
-->
ya. Entonces vas a crear
-->
donde dice la opción donde dice
-->
perdón donde dice bokeh
-->
bokeh vas a iniciar de la
-->
siguiente forma. Vas a decirle
-->
entonces que el bokeh donde lo
-->
que va a decirlo va a ser
-->
entre comillas doble va a ser
-->
noble proc slash por favor
-->
coloca el nombre tuyo para que
-->
creemos un carpeta en esa
-->
carpeta. Entonces en el caso
-->
mío pues será yo. Para no
-->
confundirlo créate una
-->
carpeta con nombre creo que
-->
aquí no hay nombre repetidos
-->
entonces créate una carpeta
-->
para cada uno. No no esta
-->
carpeta es la que está en ese
-->
tres no eh diferente lo que
-->
hace es que yo tengo ya sí lo
-->
que hace es que yo tengo un
-->
bokeh allá que se llama noble
-->
proc o sea otra carpeta
-->
pues dice tres una carpeta
-->
el bokeh es una carpeta
-->
quedaría entonces de esta
-->
forma en noble proc alguno le
-->
quedará Diana otros Iván
-->
otro Luis bueno ahí le
-->
quedará de Peniel entonces
-->
y el ki va a ser el nombre
-->
del archivo con que va a
-->
quedar en el en el S3 en el
-->
S3 entonces vamos a subir nada
-->
más dos archivos ya le vamos a
-->
seguir vamos a subir el archivo
-->
de super market y el archivo
-->
de tin voy a copiarme el nombre
-->
de aquí para tratar de
-->
automatizar el proceso de
-->
copiar todo el nombre aquí
-->
y lo voy a pegar entre
-->
comillas doble acá en este
-->
caso voy a subir inicialmente
-->
el de super market no coloco
-->
no coloque la extensión
-->
completa para tener el
-->
aunque recordará que para el
-->
caso el talent que tenemos la
-->
capa de la capa la capa
-->
silver si no tiene extensión
-->
no hay problema pero para
-->
automatizar nuestros archivos
-->
vamos a colocar el punto
-->
ccv y aquí entonces tienes
-->
aquí busca por acá
-->
y lo que has bueno mapeas
-->
hacia el archivo que va a
-->
subir que está en tu disco
-->
duro ¿Dónde está? En caso
-->
mío lo coloque en temporal
-->
y entonces es como el archivo
-->
que voy a mapear le digo open
-->
y aquí sí me ayuda ¿Te
-->
acuerdas del problema que
-->
tuvimos cuando mande alta de
-->
file de file opus de la de
-->
la carpeta bueno es un acá
-->
si lo casi te ayuda aquí una
-->
vez alguien que fue Iván el
-->
que me una vez me preguntó
-->
eh ¿Qué pasaría si un
-->
componente cuando conecto
-->
entonces hay error? Yo le
-->
decía bueno hay componente
-->
que tiene la opción die on
-->
error si yo chuleo esta
-->
opción significa en que no
-->
sigue el flujo del job se
-->
muere ahí ¿Quieres
-->
márcala? Y ahora vas a
-->
conectar este señor aquí
-->
tienes dos opciones on
-->
sub job ok o on component
-->
ok aquí la mejor opción
-->
sería on component ok si ese
-->
componente está todo bien
-->
voy aquí yo pude ejecutar
-->
los dos sin unirlos
-->
significaba que paralelamente
-->
iba a subir los dos archivos
-->
de la forma en que los
-->
conecte significa que ahora
-->
sube primero este y después
-->
ejecuta este tú úsalo como
-->
más convenga dependiendo del
-->
contexto en que este es decir
-->
yo lo pude dejar separado y
-->
entre comillas se conecta eh
-->
se ejecutaba eh
-->
concurrentemente en esta
-->
versión no pero en la de
-->
en la del tal en eh
-->
enterprise si puedes
-->
configurar cuántos siglos de
-->
ejecución quieres con el
-->
segundo vamos a hacer
-->
exactamente lo mismo entonces
-->
en este caso uso una
-->
conexión existente y ahora el
-->
bokeh cópialo de acá arriba
-->
el bokeh es tu nombre el no
-->
le pongo tu nombre y subamos
-->
un archivo interesante aquí
-->
lo vamos a llamar el de Tim
-->
NBA junto CSV
-->
este es el que colocas acá en
-->
el key sería el nombre del
-->
del archivo y en el file
-->
stream pues hace lo siguiente
-->
eh mapeas al archivo Tim
-->
listo
-->
solamente por repasar a lo
-->
siguiente agrega el aquí
-->
aquí un que fue el primer
-->
componente que hicimos conecta
-->
el último elemento le das un
-->
componen ok y colocas el
-->
mensaje archivos subidos
-->
exitosamente no hagamos
-->
hagamos esos dos
-->
inicialmente vamos a trabajar
-->
con esos dos y demoramos
-->
tiempo con esos dos
-->
demoramos tiempo con esos dos
-->
ahí porque con esos dos se
-->
pueden hacer muchas cosas
-->
bueno voy entrando aquí a a
-->
mi cuenta de
-->
del señor AWS voy a buscar
-->
los buquets porque listo
-->
aquí tengo buquets
-->
bueno vamos a proceder
-->
entonces a ejecutar y
-->
esperamos tengamos ningún
-->
problema voy aquí a guardar
-->
y voy a ejecutar aquí
-->
esto lo esto exactamente lo
-->
voy a hacer con el time
-->
data integration no hay
-->
ningún problema aquí todavía
-->
no he metido nada de
-->
vida está claro
-->
está demorando un poco por
-->
la ejecución por tantas
-->
cosas que monté ahí
-->
esto demora nada más en la
-->
aplicación cuando recordará
-->
que esto te genera un punto
-->
Java y al final de ese punto
-->
Java tú lo lo lo exportas
-->
y lo ejecutas después entonces
-->
aquí es porque está creando
-->
el el el el archivo listo
-->
conectado se conecta
-->
aquí me salió un error fue
-->
de la máquina virtual no fue
-->
de los componentes este error
-->
le salió a algunos de ustedes
-->
y me hice un problema de
-->
la móvia dígame bueno
-->
intentemos nuevamente aquí me
-->
toca cerrar y abrir pero
-->
antes de que cierre por
-->
favor hagamos algo para
-->
vamos a decir corregimos este
-->
problema a los que se ve el
-->
problema a los que no no
-->
hay problema eh no hagan nada
-->
pues vamos aquí váyase a su
-->
equipo de computo
-->
váyase a program files
-->
dos dos bd dos bd
-->
y busco un archivo que se
-->
llama dos bd win x86
-->
pero punto in y creo que es
-->
el último que te va a mostrar
-->
entonces
-->
vamos a ver
-->
miércoles ah un momento de
-->
ah se pasó
-->
entonces a los que ya tiene
-->
por ahí doctor aquí esperemos
-->
a que se me da cuenta pero
-->
los que están en esta ventana
-->
por favor o lo siguiente
-->
cambie esta configuración
-->
vamos a arriesgarlo entonces
-->
el xms cambiélo aquí a 20 48
-->
este señor lo cambia a 40 96
-->
diciendo que ocupe mínimo 2
-->
gigas máximo 4
-->
eso fue lo que dice ahí
-->
vamos a decir por eso no
-->
funciona mejor
-->
porque entrometada en 512
-->
mínimo eh lo guardamos
-->
el que me confundimos
-->
entonces vamos a traer para
-->
él ¿Qué me habló? Bruno voy
-->
para allá para que me muestre
-->
porque eh me perdí Bruno no
-->
te veo
-->
ya perdón
-->
no no no listo
-->
la de guardar por favor
-->
sí
-->
vamos a ver
-->
bueno acá a a a a antes
-->
antes que siga acá lo que veo
-->
son la carpeta de Abraham
-->
donde subió los archivos
-->
exitosamente la carpeta
-->
Carla que subió exitosamente
-->
Oblea subió y Rafael
-->
subió los dos archivos pero
-->
cuando se terminó de
-->
hacer
-->
ese error
-->
bueno eh por la experiencia la
-->
herramienta no lo es o sea
-->
porque yo he trabajado
-->
aquí
-->
sí
-->
bueno
-->
aquí lo que hay que hacer es
-->
lo siguiente
-->
por qué se desconfiguró no sé
-->
ahora
-->
hay que corregirlo de esta
-->
forma váyase aquí a C
-->
a lo que salió este error
-->
váyase a C program files
-->
Java
-->
JDK
-->
VIN
-->
acceda acá al al agarrar
-->
direcciones y va a copiar
-->
control C
-->
llega hasta el VIN
-->
va a llegar hasta el VIN
-->
hasta el VIN va a llegar
-->
control C
-->
entonces ahora
-->
va nuevamente al archivo de
-->
configuración del talent
-->
que estaba en C
-->
program files
-->
TOSBD
-->
TOSBD
-->
el archivo
-->
este que estaba aquí
-->
das enter aquí y agregas
-->
siguiente menos BM
-->
enter
-->
agregas la ruta
-->
slash
-->
javaw.exe
-->
javaw.exe
-->
te das guardar
-->
y vuelves a ejecutar nuevamente
-->
el caso mío a mí me salió fue un error
-->
hay un enter
-->
hay un enter
-->
hay un enter buena pregunta hay un enter ahí
-->
vamos entonces aquí
-->
vamos a
-->
ejecutar
-->
momento por favor
-->
voy a dejarle la configuración
-->
si fue que coloqué mucho no sé
-->
si
-->
aquí tenía
-->
512 verdad
-->
no creo que sea eso y 1496
-->
y mi cartón no me falla
-->
momento por favor
-->
safe
-->
si
-->
error de memoria
-->
si a mi me salió el error de memoria si
-->
claro que este es un problema de la más 500 no es
-->
no es la herramienta la herramienta no es
-->
no es la herramienta es nada es
-->
es decir ese problema de memoria es
-->
un problema de procesos
-->
de que el de la aplicación
-->
le pidió memoria al sistema operativo
-->
y esa memoria como estoy en
-->
un clúster no sé si hubo un error ahí al parecer
-->
fue
-->
cuando
-->
le cambie las variables no sé por qué
-->
salió ese error
-->
déjale las vamos vamos
-->
permítame antes antes
-->
antes antes vamos a cambiar
-->
a un giga no pongamos cuatro
-->
vamos a ponerla aquí esperate yo pruebo primero
-->
un giga 1024
-->
hasta 2 gigas
-->
248
-->
248
-->
alguien me comentó de que la presión de ventana
-->
era negra no sé todavía sale
-->
o ya se comentó la marca
-->
y ya
-->
viste porque tenía tantas
-->
confirmé
-->
en el momento
-->
confirmé algo no sé si
-->
es
-->
en la que
-->
no
-->
la que coloqué yo no sé
-->
no hubo ningún problema
-->
1024 inicial y
-->
248 como máximo
-->
o sea 2 gigas como máximo
-->
a ver si nos mejora
-->
y evitamos problemas de memoria
-->
1024 y 248
-->
y después ejecuta para ver
-->
1024 mínimo
-->
y 248 máximo
-->
no funcionó
-->
ahora vamos para ver
-->
aquí no le funcionó
-->
un momento
-->
espere un momento deja comprobar si
-->
aquí no le funcionó me dijo
-->
o Luis ven
-->
acá yo mira lo que yo veo
-->
voy a conectarme a tu máquina yo no veo tu máquina la veo en blanco
-->
ahora sí
-->
bien
-->
cierra ahí
-->
ejecutar
-->
espere espere espere un momento
-->
espere un momento
-->
deja
-->
hacer de modo interactivo
-->
voy a ver
-->
vamos a ver de modo interactivo
-->
voy aquí un momento
-->
a cerrar esto
-->
aquí tiene montado
-->
este docker
-->
este docker lo voy a bajar
-->
porque este docker se está ocupando
-->
450 medias que me pueden servir
-->
voy a bajar este señor aquí
-->
no voy a dejar ese condenado
-->
a ver si bajo este docker acá
-->
tú tienes 93% de memoria ocupada
-->
en que tienes ocupar esa memoria
-->
hazme un favor Luis
-->
redice tu máquina pero no subas el docker
-->
a los demás si les subió
-->
vamos a ver
-->
acá está subiendo a los demás les subió
-->
si le hizo bien
-->
pero quien faltaría acá por subir
-->
ok esperemos ahora
-->
que rediciemos entonces
-->
voy a volver a ejecutar el job
-->
para ver si me sale error
-->
intenten ustedes volverlo a ejecutar creo que va a sobreescribir el archivo
-->
no hayan problemas
-->
a los que ya les subió intenten ejecutar el job
-->
para ver si les cierra nuevamente el
-->
el big data
-->
¿te sale aquí?