Dangerous Days: Making Blade Runner

1 abril \01\UTC 2015

Estoy disfrutando de una forma casi obscena y por partes (porque dura casi cuatro horas) de Dangerous Days: Making Blade Runner, un documental que cuenta todo el proceso de creación de la película, y que contiene cantidad de datos desconocidos (al menos por mí), así como metraje desechado, entrevistas, anécdotas, etc…

Resulta que el unicornio era de “Legend” (¿?) y los planos aéreos del “final feliz” se los pidieron a Kubrick de los que le sobraron de “El Resplandor” (¡!).

Un flipe. Obligatoria.

Saludos.

Carlos.


No siempre es lo mismo…

25 marzo \25\UTC 2015

La conversión de tipos explícita (casting) en Teradata puede hacerse de dos modos: el “nativo”, que consiste en añadir entre paréntesis el tipo destino junto al valor al que queremos transformar; y el ANSI, mediante la construcción CAST(… AS …).

Ambas formas son correctas y casi siempre intercambiables, pero hay excepciones:

 BTEQ -- Enter your SQL request or BTEQ command:
SELECT 123456 (CHAR(6)),
       CAST(123456 AS CHAR(6));


 *** Query completed. One row found. 2 columns returned.
 *** Total elapsed time was 1 second.

123456  123456
------  ------
     1  123456

 BTEQ -- Enter your SQL request or BTEQ command:

En efecto, el modo nativo efectúa una conversión automática a partir del valor original (un integer, de rango -2147483648 , 2147483647), que necesita 11 posiciones. Al convertirlo a CHAR(6) toma los primeros 5 espacios y trunca desde ahí (por eso solamente muestra ‘1’), mientras que el ANSI elimina (trim) los espacios de inicio al crear la cadena final.

Saludos.

Carlos.


Still…

15 marzo \15\UTC 2015

image

Saludos.

Carlos.


Instalando el Teradata ODBC driver en Linux 64 (CentOS 6)

6 marzo \06\UTC 2015

Por motivos que no vienen al caso, pero que están en cierto modo relacionados con esto, tuve que instalar el Teradata ODBC driver para Linux 64 en un CentOS 6.

Viendo la documentación, me pareció que había aspectos de la instalación que no estaban demasiado claros, cosa que pude comprobar después de consultar un poco la web. No obstante, como valiente que es uno, eso no me apartó del objetivo.

Lo primero, descargar el driver en http://downloads.teradata.com/download/connectivity/odbc-driver/linux

Es un “.tar.gz” que contiene los .rpm de tdicu (Teradata International Components for Unicode), tdgss (Teradata Generic Security Services) y tdodbc (el driver en sí).

Tras instalar tdicu, tdgss y tdodbc (rpm -ivh) es cuando vienen los puntos peliagudos:

Hay que copiar odbc.ini de /opt/teradata/client/15.00/odbc_64 a $HOME/.odbc.ini . Nótese que el fichero en $HOME debe ser ‘oculto’ comenzando con un punto: .odbc.ini

Una vez hecho esto, hay que editarlo para incluir el origen ODBC al cual queremos acceder (en nuestro caso, un Teradata 14.10 sobre SLES 11) agregando las entradas necesarias:

 

[ODBC Data Sources]
TD1410_SLES11=tdata.so
...

[TD1410_SLES11]
Driver=/opt/teradata/client/ODBC_64/lib/tdata.so
Description=Teradata 14.10 on SLES 11
DBCName=TD1410
...

Pero ahí no acaba todo, ya que nos quedan por fijar un par de variables de entorno sin las cuales la cosa no funciona.

Hay que fijar variables de entorno en .bash_profile:

#Teradata ODBC:
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/teradata/client/15.00/odbc_64/lib
export LD_LIBRARY_PATH

NLSPATH=/opt/teradata/client/15.00/odbc_64/msg/%N.cat
export NLSPATH

Porque la instalación fija variables de entorno en /etc/profile y en /etc/csh.login y éstas apuntan al entorno erróneo. Es por eso que suelen aparecer los errores “Specified driver could not be loaded” y “Unable to get catalog string“.

Una vez hecho todo esto, sólo hay que probar:

[carlos@centos-6 bin]$ ./tdxodbc 

Enter Data Source Name: TD1410_SLES11
Enter UserID: carlos
Enter Password: 

Connecting with SQLConnect(DSN=TD1410_SLES11,UID=carlos,PWD=*)...

.....ODBC connection successful.

ODBC version        = -03.52.0000-
DBMS name           = -Teradata-
DBMS version        = -14.10.0002  14.10.00.02-
Driver name         = -tdata.so-
Driver version      = -15.00.00.03-
Driver ODBC version = -03.51-

(type quit to terminate adhoc) 
Enter SQL string : SELECT DATE;

Executing SQLExecDirect("SELECT DATE;")...

SQL Statement [1]: 1 rows affected.

Date 
2015-03-05 

Enter SQL string : quit

'quit' command detected

ODBC connection closed.
[carlos@centos-6 bin]$ 

Y… ¡éxito!

Saludos.

Carlos.


El Marciano

1 marzo \01\UTC 2015

Si te gusta la química. Si te gusta la física. Si te gusta la técnica en general y el ‘software‘ en particular. O si tu trabajo consiste en resolver problemas complejos de la mejor forma posible con recursos limitados (como es mi caso).

Y si te gusta leer, claro.

Entonces disfrutarás como un enano -como he disfrutado yo- leyendo “El Marciano” de Andy Weir.

Un libro de ciencia-ficción con mucha más ciencia que ficción.

Saludos.

Carlos.


From Kenzie to Kovacs…

22 febrero \22\UTC 2015

El título de esta entrada es un guiño a la fabulosa From Hank to Hendricks, de Neil Young y sirve para describir cómo he pasado de leerme de un tirón los seis libros de Kenzie & Gennaro a devorarme la trilogía de Takeshi Kovacs, de Richard K. Morgan.

Comencé con “Carbono Alterado” (“Altered Carbon“) por recomendación de mi amigo T. Y me gustó tanto que me leí las otras dos (“Broken Angels” y “Woken Furies”) sin parar y en inglés, ya que todavía no las han traducido al castellano.

“You’re never going to get away with this, Kovacs. They’ve got. They’ve got you looking for you, man.”

Altamente recomendables.

Saludos.

Carlos.


DIRTY READS

13 febrero \13\UTC 2015

 

Teradata funciona en ISOLATION LEVEL SERIALIZABLE por defecto. Esto significa que para garantizar la integridad de los datos se implementan bloqueos que impiden modificaciones de los mismos por otras transacciones mientras estos están siendo leídos. Esta política de bloqueos es bastante restrictiva en sí (READERS BLOCK WRITERS) aunque es la más segura a la hora de garantizar integridad. Hay que tener en cuenta que en Datawarehouses lo normal es leer mucho y modificar poco (READERS DON’T BLOCK READERS). Otras bases de datos más orientadas a OLTP funcionan de otras formas (READ COMMITED en Oracle, por ejemplo. READERS DON’T BLOCK WRITERS)

Teradata nos permite relajar los bloqueos de lectura de forma que no interfiramos la actividad de actualización de tablas sobre las que únicamente queremos leer para que otras transacciones puedan desarrollar dichas actividades de actualización. La forma más habitual de hacerlo es con el modificador LOCKING … FOR ACCESS. Con este modificador podremos leer los datos sin bloquearlos, permitiendo actividades de actualización por parte de otras transacciones. Pero a un coste: estaremos permitiendo los llamados ‘dirty reads’: lectura de datos modificados por otras transacciones pero sobre los que no se ha hecho COMMIT (ISOLATION LEVEL READ UNCOMMITED). Esto puede tener consecuencias no deseadas.

Lo podemos ver con un ejemplo ‘de la vida real’. Uso la siguiente ‘query‘ para monitorizar la actividad sobre una tabla por parte de un agente externo que realiza constantes borrados e inserciones sobre ella:

 BTEQ -- Enter your SQL request or BTEQ command:
LOCKING TABLE THE_DATABASE.THE_TABLE FOR ACCESS
SELECT CURRENT_TIMESTAMP (FORMAT 'YYYY-MM-DDbhh:mi:ss') FECHA,
       ZEROIFNULL(SUM (CASE WHEN TS_PROCESADO IS NULL 
                            THEN 1 ELSE 0 END)) PENDIENTES,
       ZEROIFNULL(SUM (CASE WHEN TS_PROCESADO IS NOT NULL 
                            THEN 1 ELSE 0 END)) PROCESADOS,
       PENDIENTES + PROCESADOS TOTAL,
       MAX(TS_TIMESTAMP) ULTIMO_INSERTADO
  FROM THE_DATABASE.THE_TABLE
;


 *** Query completed. One row found. 6 columns returned.
 *** Total elapsed time was 1 second.

              FECHA PENDIENTES PROCESADOS TOTAL    ULTIMO_INSERTADO
------------------- ---------- ---------- ----- -------------------
2015-02-11 09:36:00          5         15    20 2015-02-11 09:36:00

 BTEQ -- Enter your SQL request or BTEQ command:
=1


 *** Query completed. One row found. 6 columns returned.
 *** Total elapsed time was 1 second.

              FECHA PENDIENTES PROCESADOS TOTAL    ULTIMO_INSERTADO
------------------- ---------- ---------- ----- -------------------
2015-02-11 09:36:02          0         20    20 2015-02-10 12:32:17

Aquí se ve como en la primera ejecución de la query estábamos leyendo datos modificados por una transacción del agente (había borrado cinco filas y las había vuelto a insertar como ‘pendientes’) pero sobre los que aun aun no había efectuado un COMMIT. Por algún problema en la transacción -o por una orden explícita- ésta es abortada con el consiguiente ROLLBACK, de tal forma que las segunda ejecución de nuestra SELECT (apenas dos segundos después) muestra los datos tal y como estaban al comienzo de la transacción abortada.

Hay que hacer notar que, al no existir un COMMIT, hemos leído datos que nunca han existido “realmente” en la base de datos.

Como siempre: no se trata de que esto sea algo malo o bueno, se trata de saber las necesidades y asumir los posibles efectos de aplicar las diferentes técnicas.

Nota: mis compañeros A. y N. lo vieron ‘in situ‘ y me animaron a escribir esto.

Saludos.

Carlos.


Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 58 seguidores