Home | About | Sematext search-lucene.com search-hadoop.com
 Search Hadoop and all its subprojects:

Switch to Threaded View
HBase >> mail # user >> Data skew


Copy link to this message
-
Re: Data skew
This is HDFS level data skew. See http://tinyurl.com/7sftkbw for the
hdfs faq for rebalancing options.
--Suraj

On Thu, May 31, 2012 at 4:35 PM, David Charle <[EMAIL PROTECTED]> wrote:
> Hi
>
> Whats the best way to fix the data skew in the hbase cluster ? And does
> anyone has any clue what can cause the skew ?
>
> Here is the data volumes across 5 nodes:
>
> -----1-----
> /dev/sdc              917G  734G  184G  80% /data/2
> /dev/sdd              917G  733G  185G  80% /data/3
> /dev/sdb              917G  729G  189G  80% /data/1
> -----2-----
> /dev/sdb              917G  396G  522G  44% /data/1
> /dev/sdc              917G  386G  531G  43% /data/2
> /dev/sdd              917G  400G  518G  44% /data/3
> -----3-----
> /dev/sdb              917G  725G  193G  79% /data/1
> /dev/sdc              917G  717G  201G  79% /data/2
> /dev/sdd              917G  687G  231G  75% /data/3
> -----4-----
> /dev/sdb              917G  734G  184G  81% /data/1
> /dev/sdc              917G  742G  176G  81% /data/2
> /dev/sdd              917G  735G  183G  81% /data/3
> -----5-----
> /dev/sdb              917G  838G   80G  92% /data/1
> /dev/sdc              917G  894G   24G  98% /data/2
> /dev/sdd              917G  894G   24G  98% /data/3
>
> Thanks
> Venu