Home | About | Sematext search-lucene.com search-hadoop.com
 Search Hadoop and all its subprojects:

Switch to Plain View
Hive, mail # user - Exporting hive table data into oracle give date format error


Copy link to this message
-
Exporting hive table data into oracle give date format error
Ajit Kumar Shreevastava 2013-03-20, 07:31
Hi Jarcec,

Thanking you for your valuable input and your suggestion seems to be valid. But I have some doubt about the SQOOP  behavior :-->

1.       If null create the confusion then some value similar to the below mentioned value are inserted to the oracle table with null treated as   string.

     hive> select * from bttn_bkp_testing

              > where bttn_id=39126;

39126.0 32436.0 3276.0  3.0     28.0    1.0     1.0     1.0     1.0     #FFFFFF #0000FF #0000FF #FFFFFF 0.0     0.0     NULL    NULL    1.0     1.0     1.0     NULL   null     20.0    2010-05-04 14:31:17.0   dbmigration     2013-01-18 09:11:18.37  DP_CQ4540       2010-11-29 15:45:03.976 ei009724        1.0     null    NULL    null   NULL     0.0     61253.0 61124.0 61124.0 61253.0

39126.0 50805.0 3276.0  3.0     28.0    1.0     1.0     1.0     1.0     #FFFFFF #0000FF #0000FF #FFFFFF 0.0     0.0     NULL    NULL    1.0     1.0     1.0     NULL   null     20.0    2010-05-23 23:18:54.604 ei103215        2013-01-18 09:11:18.37  DP_CQ4540       2010-11-29 15:45:03.976 ei009724        1.0     null    NULL    null   NULL     0.0     61253.0 61124.0 61124.0 61253.0

39126.0 63196.0 3276.0  3.0     28.0    1.0     1.0     1.0     1.0     #FFFFFF #0000FF #0000FF #FFFFFF 0.0     0.0     NULL    NULL    1.0     1.0     1.0     NULL   null     20.0    2010-11-04 18:25:23.956 ei103215        2013-01-18 09:11:18.37  DP_CQ4540       2010-11-29 15:45:03.976 ei009724        1.0     null    NULL    null   NULL     0.0     61253.0 61124.0 61124.0 61253.0

These values are inserted into the oracle table BTTN_BKP_TEST as follows:--> .

SQL> Select * from BTTN_BKP_TEST where bttn_id=39126;

39126    32436    3276       3              28           1              1              1              1              #FFFFFF               #0000FF               #0000FF                #FFFFFF               0              0                                              1              1              1                              null         20           05/04/2010 2:31:17.000000 PM          dbmigration       01/18/2013 9:11:18.370000 AM  DP_CQ4540        11/29/2010 3:45:03.976000 PM                ei009724              1              null                         null                         0              61253    61124    61124    61253

39126    50805    3276       3              28           1              1              1              1              #FFFFFF               #0000FF               #0000FF                #FFFFFF               0              0                                              1              1              1                              null         20           05/23/2010 11:18:54.604000 PM        ei103215              01/18/2013 9:11:18.370000 AM  DP_CQ4540        11/29/2010 3:45:03.976000 PM                ei009724              1              null                         null                         0              61253    61124    61124    61253

39126    63196    3276       3              28           1              1              1              1              #FFFFFF               #0000FF               #0000FF                #FFFFFF               0              0                                              1              1              1                              null         20           11/04/2010 6:25:23.956000 PM          ei103215              01/18/2013 9:11:18.370000 AM  DP_CQ4540        11/29/2010 3:45:03.976000 PM                ei009724              1              null                         null                         0              61253    61124    61124    61253

But the raised exception for below value:-->

hive> select * from bttn_bkp_testing

        > where bttn_id= 194628.0;

194628.0        577019.0        8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-04-19 23:25:48.78  ei009724        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        706360.0        8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-05-21 01:01:53.629 ei103215        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        1620395.0       8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-08-10 04:34:00.203 ei103215        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        1694103.0       8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-11-08 01:09:15.136 ei103215        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

194628.0        1831767.0       8910.0  19.0    1.0     1.0     1.0     0.0     0.0     #FFFFFF #FF0000 #FF0000 #FFFFFF 0.0     0.0     1646.0  NULL    NULL    NULL   1.0      NULL    null    20.0    2012-12-19 23:44:44.241 e0025129        2013-01-18 09:11:30.245 DP_CQ4540       null    null    0.0     BLUEBERRY MUFFIN        7836.0 null     NULL    0.0     61259.0 61230.0 61230.0 61259.0

2.       For your information I have mentioned two interesting fact here for you regarding SQOOP behavior. First, I have imported Bttn table from Oracle into Hive bttn_bkp_test_new table using following command

[hadoop@NHCLT-PC44-2 ~]$ sqoop import --connect jdbc:oracle:thin:@10.99.42.
+
Ajit Kumar Shreevastava 2013-03-19, 07:41