Hi

Whats the best way to fix the data skew in the hbase cluster ? And does
anyone has any clue what can cause the skew ?

Here is the data volumes across 5 nodes:

-----1-----
/dev/sdc              917G  734G  184G  80% /data/2
/dev/sdd              917G  733G  185G  80% /data/3
/dev/sdb              917G  729G  189G  80% /data/1
-----2-----
/dev/sdb              917G  396G  522G  44% /data/1
/dev/sdc              917G  386G  531G  43% /data/2
/dev/sdd              917G  400G  518G  44% /data/3
-----3-----
/dev/sdb              917G  725G  193G  79% /data/1
/dev/sdc              917G  717G  201G  79% /data/2
/dev/sdd              917G  687G  231G  75% /data/3
-----4-----
/dev/sdb              917G  734G  184G  81% /data/1
/dev/sdc              917G  742G  176G  81% /data/2
/dev/sdd              917G  735G  183G  81% /data/3
-----5-----
/dev/sdb              917G  838G   80G  92% /data/1
/dev/sdc              917G  894G   24G  98% /data/2
/dev/sdd              917G  894G   24G  98% /data/3

Thanks
Venu

This is HDFS level data skew. See http://tinyurl.com/7sftkbw for the
hdfs faq for rebalancing options.
--Suraj

On Thu, May 31, 2012 at 4:35 PM, David Charle <[EMAIL PROTECTED]> wrote:
> Hi
>
> Whats the best way to fix the data skew in the hbase cluster ? And does
> anyone has any clue what can cause the skew ?
>
> Here is the data volumes across 5 nodes:
>
> -----1-----
> /dev/sdc              917G  734G  184G  80% /data/2
> /dev/sdd              917G  733G  185G  80% /data/3
> /dev/sdb              917G  729G  189G  80% /data/1
> -----2-----
> /dev/sdb              917G  396G  522G  44% /data/1
> /dev/sdc              917G  386G  531G  43% /data/2
> /dev/sdd              917G  400G  518G  44% /data/3
> -----3-----
> /dev/sdb              917G  725G  193G  79% /data/1
> /dev/sdc              917G  717G  201G  79% /data/2
> /dev/sdd              917G  687G  231G  75% /data/3
> -----4-----
> /dev/sdb              917G  734G  184G  81% /data/1
> /dev/sdc              917G  742G  176G  81% /data/2
> /dev/sdd              917G  735G  183G  81% /data/3
> -----5-----
> /dev/sdb              917G  838G   80G  92% /data/1
> /dev/sdc              917G  894G   24G  98% /data/2
> /dev/sdd              917G  894G   24G  98% /data/3
>
> Thanks
> Venu

Check out some of the material in this section of the RefGuide...

http://hbase.apache.org/book.html#trouble.namenode

Š to see the distribution of data by region (you might have some lumpy
regions, which means you might need to examine your keyspace).
On 6/1/12 8:04 AM, "Suraj Varma" <[EMAIL PROTECTED]> wrote:

>This is HDFS level data skew. See http://tinyurl.com/7sftkbw for the
>hdfs faq for rebalancing options.
>--Suraj
>
>On Thu, May 31, 2012 at 4:35 PM, David Charle <[EMAIL PROTECTED]>
>wrote:
>> Hi
>>
>> Whats the best way to fix the data skew in the hbase cluster ? And does
>> anyone has any clue what can cause the skew ?
>>
>> Here is the data volumes across 5 nodes:
>>
>> -----1-----
>> /dev/sdc              917G  734G  184G  80% /data/2
>> /dev/sdd              917G  733G  185G  80% /data/3
>> /dev/sdb              917G  729G  189G  80% /data/1
>> -----2-----
>> /dev/sdb              917G  396G  522G  44% /data/1
>> /dev/sdc              917G  386G  531G  43% /data/2
>> /dev/sdd              917G  400G  518G  44% /data/3
>> -----3-----
>> /dev/sdb              917G  725G  193G  79% /data/1
>> /dev/sdc              917G  717G  201G  79% /data/2
>> /dev/sdd              917G  687G  231G  75% /data/3
>> -----4-----
>> /dev/sdb              917G  734G  184G  81% /data/1
>> /dev/sdc              917G  742G  176G  81% /data/2
>> /dev/sdd              917G  735G  183G  81% /data/3
>> -----5-----
>> /dev/sdb              917G  838G   80G  92% /data/1
>> /dev/sdc              917G  894G   24G  98% /data/2
>> /dev/sdd              917G  894G   24G  98% /data/3
>>
>> Thanks
>> Venu
>