Home | About | Sematext search-lucene.com search-hadoop.com
 Search Hadoop and all its subprojects:

Switch to Threaded View
Hadoop >> mail # user >> Map/Reduce Tasks Fails


Copy link to this message
-
Re: Map/Reduce Tasks Fails
Sandeep

How many network interfaces? Are the network shared between iSCSI and M/R communications?

Is this the top when the system is idle or when you are getting  errors? ( I am guessing idle!)

Raj

>________________________________
> From: Sandeep Reddy P <[EMAIL PROTECTED]>
>To: [EMAIL PROTECTED]; Raj Vishwanathan <[EMAIL PROTECTED]>
>Sent: Tuesday, May 22, 2012 8:02 AM
>Subject: Re: Map/Reduce Tasks Fails
>
>Hi Raj,
>We are using SAN shared storage used by multiple servers connected over
>iSCSI.
>
>
>TOP from one of the datanode
>
>top - 11:01:04 up 19:53,  1 user,  load average: 0.00, 0.00, 0.35
>Tasks: 180 total,   1 running, 179 sleeping,   0 stopped,   0 zombie
>Cpu(s):  0.1%us,  0.1%sy,  0.0%ni, 99.9%id,  0.0%wa,  0.0%hi,  0.0%si,
>0.0%st
>Mem:   8061608k total,  5010408k used,  3051200k free,    13152k buffers
>Swap:  2097144k total,      272k used,  2096872k free,  4355840k cached
>
>  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
>1714 mapred    20   0 1582m 129m  11m S  0.7  1.6   5:49.68 java
>14331 root      20   0 15012 1364  988 R  0.3  0.0   0:00.02 top
>    1 root      20   0 19204 1372 1084 S  0.0  0.0   0:00.82 init
>    2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd
>    3 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0
>    4 root      20   0     0    0    0 S  0.0  0.0   0:00.14 ksoftirqd/0
>    5 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0
>    6 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 watchdog/0
>    7 root      RT   0     0    0    0 S  0.0  0.0   0:00.01 migration/1
>    8 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/1
>    9 root      20   0     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/1
>   10 root      RT   0     0    0    0 S  0.0  0.0   0:00.04 watchdog/1
>   11 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/2
>   12 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/2
>   13 root      20   0     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/2
>   14 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 watchdog/2
>   15 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/3
>   16 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/3
>   17 root      20   0     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/3
>   18 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 watchdog/3
>   19 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/4
>   20 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/4
>   21 root      20   0     0    0    0 S  0.0  0.0   0:00.02 ksoftirqd/4
>   22 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 watchdog/4
>   23 root      RT   0     0    0    0 S  0.0  0.0   0:00.01 migration/5
>   24 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/5
>   25 root      20   0     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/5
>   26 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 watchdog/5
>   27 root      20   0     0    0    0 S  0.0  0.0   0:00.00 events/0
>   28 root      20   0     0    0    0 S  0.0  0.0   0:04.27 events/1
>   29 root      20   0     0    0    0 S  0.0  0.0   0:02.39 events/2
>   30 root      20   0     0    0    0 S  0.0  0.0   0:01.46 events/3
>   31 root      20   0     0    0    0 S  0.0  0.0   0:00.11 events/4
>   32 root      20   0     0    0    0 S  0.0  0.0   0:00.84 events/5
>   33 root      20   0     0    0    0 S  0.0  0.0   0:00.00 cpuset
>   34 root      20   0     0    0    0 S  0.0  0.0   0:00.00 khelper
>   35 root      20   0     0    0    0 S  0.0  0.0   0:00.00 netns
>
>
>