Home | About | Sematext search-lucene.com search-hadoop.com
NEW: Monitor These Apps!
elasticsearch, apache solr, apache hbase, hadoop, redis, casssandra, amazon cloudwatch, mysql, memcached, apache kafka, apache zookeeper, apache storm, ubuntu, centOS, red hat, debian, puppet labs, java, senseiDB
 Search Hadoop and all its subprojects:

Switch to Threaded View
Hive >> mail # user >> RE: Exporting hive table data into oracle give date format error


Copy link to this message
-
Exporting hive table data into oracle give date format error
Hi Jarcec,

Thanking you for your valuable input and your suggestion seems to be valid. But I have some doubt about the SQOOP  behavior :-->

1.       If null create the confusion then some value similar to the below mentioned value are inserted to the oracle table with null treated as   string.

     hive> select * from bttn_bkp_testing

              > where bttn_id=39126;

39126.0 32436.0 3276.0  3.0     28.0    1.0     1.0     1.0     1.0     #FFFFFF #0000FF #0000FF #FFFFFF 0.0     0.0     NULL    NULL    1.0     1.0     1.0     NULL   null     20.0    2010-05-04 14:31:17.0   dbmigration     2013-01-18 09:11:18.37  DP_CQ4540       2010-11-29 15:45:03.976 ei009724        1.0     null    NULL    null   NULL     0.0     61253.0 61124.0 61124.0 61253.0

39126.0 50805.0 3276.0  3.0     28.0    1.0     1.0     1.0     1.0     #FFFFFF #0000FF #0000FF #FFFFFF 0.0     0.0     NULL    NULL    1.0     1.0     1.0     NULL   null     20.0    2010-05-23 23:18:54.604 ei103215        2013-01-18 09:11:18.37  DP_CQ4540       2010-11-29 15:45:03.976 ei009724        1.0     null    NULL    null   NULL     0.0     61253.0 61124.0 61124.0 61253.0

39126.0 63196.0 3276.0  3.0     28.0    1.0     1.0     1.0     1.0     #FFFFFF #0000FF #0000FF #FFFFFF 0.0     0.0     NULL    NULL    1.0     1.0     1.0     NULL   null     20.0    2010-11-04 18:25:23.956 ei103215        2013-01-18 09:11:18.37  DP_CQ4540       2010-11-29 15:45:03.976 ei009724        1.0     null    NULL    null   NULL     0.0     61253.0 61124.0 61124.0 61253.0

These values are inserted into the oracle table BTTN_BKP_TEST as follows:--> .

SQL> Select * from BTTN_BKP_TEST where bttn_id=39126;

39126    32436    3276       3              28           1              1              1              1              #FFFFFF               #0000FF               #0000FF                #FFFFFF               0              0                                              1              1              1                              null         20           05/04/2010 2:31:17.000000 PM          dbmigration       01/18/2013 9:11:18.370000 AM  DP_CQ4540        11/29/2010 3:45:03.976000 PM                ei009724              1              null                         null                         0              61253    61124    61124    61253

39126    50805    3276       3              28           1              1              1              1              #FFFFFF               #0000FF               #0000FF                #FFFFFF               0              0                                              1              1              1                              null         20           05/23/2010 11:18:54.604000 PM        ei103215              01/18/2013 9:11:18.370000 AM  DP_CQ4540        11/29/2010 3:45:03.976000 PM                ei009724              1              null                         null                         0              61253    61124    61124    61253

39126    63196    3276       3              28           1              1              1              1              #FFFFFF               #0000FF               #0000FF                #FFFFFF               0              0                                              1              1              1                              null         20           11/04/2010 6:25:23.956000 PM          ei103215              01/18/2013 9:11:18.370000 AM  DP_CQ4540        11/29/2010 3:45:03.976000 PM                ei009724              1              null                         null                         0              61253    61124    61124    61253

But the raised exception for below value:-->

hive> select * from bttn_bkp_testing

        > where bttn_id= 194628.0;

194628.0        577019.0        8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-04-19 23:25:48.78  ei009724        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        706360.0        8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-05-21 01:01:53.629 ei103215        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        1620395.0       8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-08-10 04:34:00.203 ei103215        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        1694103.0       8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-11-08 01:09:15.136 ei103215        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        1831767.0       8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-12-19 23:44:44.241 e0025129        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

2.       For your information I have mentioned two interesting fact here for you regarding SQOOP behavior. First, I have imported Bttn table from Oracle into Hive bttn_bkp_test_new table using following command

[hadoop@NHCLT-PC44-2 ~]$ sqoop import --connect jdbc:oracle:thin:@10.99.42.
NEW: Monitor These Apps!
elasticsearch, apache solr, apache hbase, hadoop, redis, casssandra, amazon cloudwatch, mysql, memcached, apache kafka, apache zookeeper, apache storm, ubuntu, centOS, red hat, debian, puppet labs, java, senseiDB