2013年2月28日 星期四

[hadoop][hive]What are partitions in Hive

What are partitions in Hive

Partitioning tables changes how Hive structures the data storage
在設計資料的物理結構的時候,可以透過 partition 的方式增加處理的效率。
也就是說,我們把同樣的資料放在同樣的一個區塊,意味著,他們存放在底層的hdfs,是在同一個dir,同一個sortfile。

舉一個例子來說,我們的員工資料分別分為各country與各個state來做partition。

CREATE TABLE employees (
name STRING,
salary FLOAT,
)
PARTITIONED BY (country STRING, state STRING);


我們在hdfs上看的物理結構可能會是存放在
hdfs://master_server/user/hive/warehouse/mydb.db/employees
裡面的資料夾跟files可能是這樣長的

.../employees/country=CA/state=AB
.../employees/country=CA/state=BC
.../employees/country=US/state=AL
.../employees/country=US/state=AK

這樣做有什麼好處呢?

我們在查詢的時候就可以加快查找 同一個country與同一個state的速度。

For example, the following query selects all employees in the state of Illinois in the United States:
我們需要找,在Illinois state, US country的員工。
直覺來說,我們就可以馬上找到那個 存放records的files是哪一個。
這樣一來我們就不用遍歷所有的tables內的files了。


SELECT * FROM employees
WHERE country = 'US' AND state = 'IL';






2013年2月26日 星期二

[think]價值


價值是什麼?
價值能幫助你,變成更特別的人。你所相信的事情,就是最重要的事情。當你能活在個人相信的價值中,你就是最快樂的人:
同樣的,若你無法活在價值中,你的生活就會充滿悲傷與憤怒。


2013年2月23日 星期六

2013年2月20日 星期三

[zz]Why Good Employees Leave?


Why Good Employees Leave?
Submitted by Kristine0222 on November 07th, 2012 – Flag this news as inappropriate
Category: Reviews
Why Good Employees Leave?

A study came up with this surprising finding: If you're losing good people, look to their immediate supervisor. More than any other single reason, he is the reason people stay and thrive in an organization. And he's the reason why they quit, taking their knowledge, experience and contacts with them. Often, straight to the competition.

"People leave managers not companies," write the authors Marcus Buckingham and Curt Coffman. "So much money has been thrown at the challenge of keeping good people - in the form of better pay, better perks and better training - when, in the end, turnover is mostly a manager issue."

If you have a turnover problem, look first to your managers and supervisors.

Beyond a point, an employee's primary need has less to do with money, and more to do with how he's treated and how valued he feels. Much of this depends directly on the immediate manager.

-David W. Richard

Why Good Employees Leave? - News - Bubblews
http://www.bubblews.com/news/26614-why-good-employees-leave


2013年2月18日 星期一

[zz]中醫如何按摩經絡穴道穴位,預防「心肌梗塞」,「心臟病」,「猝死」。 - 明明690的部落格 - udn部落格


中醫如何按摩經絡穴道穴位,預防「心肌梗塞」,「心臟病」,「猝死」。 - 明明690的部落格 - udn部落格
http://blog.udn.com/rrudnss103/7291463


[hbase]Phoenix Phoenix is a SQL layer over HBase delivered as an embedded JDBC driver targeting low latency queries over HBase data.

Phoenix is a SQL layer over HBase delivered as an embedded JDBC driver targeting low latency queries over HBase data.

Phoenix:在Apache HBase上执行SQL查询
http://www.infoq.com/cn/news/2013/02/Phoenix-HBase-SQL

"Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。"

按照效能數據來看,甚至比hive的效率還高。

2013年2月16日 星期六

[zz]阿里巴巴 招聘实时计算研发工程师

招聘实时计算研发工程师

岗位描述:
岗位1:MapReduce范式的海量数据的离线处理大家已经非常熟悉了,随着业务的发展,目前大量的数据应用需要对海量数据进行在线的实时处理和计算,你将会参与打造支撑海量数据的高性能在线实时计算引擎,提供友好的类SQL开发接口,并不断优化其计算性能;
岗位2:大量业务对复杂计算的实时性有越来越高的要求,这就要求系统与ad-hoc query(计算在query时发生)处理有所不同,即计算在数据进入(变化)时发生,这就需要一个高吞吐,高扩展和高可用性的服务化流计算平台,你将会参与这个平台的建设和完善,并打造业界领先的流计算引擎。

我们欢迎对大数据事业有强烈冲动的工程师和架构师,但你需要具备一定的相关技术沉淀,它们包含但不局限于:
1.精通JAVA或者C/C++,有linux下丰富的开发经验,精通性能调优;
2.对分布式计算有一定的研究,并有丰富的相关开发经验;
3.熟练掌握各种常用数据结构和算法;
4.精通各种高效的索引技术,有丰富的高性能计算系统开发经验者优先;
5.深入了解MySql或者其它开源DB实现者优先;
6.精通hadoop,spark或者storm等分布式计算系统者优先;
7.钻研精神, 对技术工作充满热情和团队精神,愿意投身大数据事业。

我们欢迎你的加入,这里有令人激动的事业,给你足够的发展机会,这里有令人激动的技术挑战,给你足够的成长空间……

简历投递邮箱:vivian.cheny@alibaba-inc.com

====
目前的徵人需求

[zz]阿里巴巴 招聘实时计算研发工程师

招聘实时计算研发工程师

岗位描述:
岗位1:MapReduce范式的海量数据的离线处理大家已经非常熟悉了,随着业务的发展,目前大量的数据应用需要对海量数据进行在线的实时处理和计算,你将会参与打造支撑海量数据的高性能在线实时计算引擎,提供友好的类SQL开发接口,并不断优化其计算性能;
岗位2:大量业务对复杂计算的实时性有越来越高的要求,这就要求系统与ad-hoc query(计算在query时发生)处理有所不同,即计算在数据进入(变化)时发生,这就需要一个高吞吐,高扩展和高可用性的服务化流计算平台,你将会参与这个平台的建设和完善,并打造业界领先的流计算引擎。

我们欢迎对大数据事业有强烈冲动的工程师和架构师,但你需要具备一定的相关技术沉淀,它们包含但不局限于:
1.精通JAVA或者C/C++,有linux下丰富的开发经验,精通性能调优;
2.对分布式计算有一定的研究,并有丰富的相关开发经验;
3.熟练掌握各种常用数据结构和算法;
4.精通各种高效的索引技术,有丰富的高性能计算系统开发经验者优先;
5.深入了解MySql或者其它开源DB实现者优先;
6.精通hadoop,spark或者storm等分布式计算系统者优先;
7.钻研精神, 对技术工作充满热情和团队精神,愿意投身大数据事业。

我们欢迎你的加入,这里有令人激动的事业,给你足够的发展机会,这里有令人激动的技术挑战,给你足够的成长空间……

简历投递邮箱:vivian.cheny@alibaba-inc.com

====
目前的徵人需求

[電影]羅馬浴場


羅馬浴場
Thermae Romae

上映日期:2012-08-31

類  型:劇情、喜劇

片  長:1時49分

導  演:《交響情人夢最終章》武內英樹

演  員:《鬼壓床了沒》阿部寬、上戶彩

發行公司:傳影互動

官方網站:http://ifilm.pixnet.net
http://www.facebook.com/ifilm.tw

=====

穿越的題材,緩慢但是不失緊湊的劇情,配上那樣的音效背景音樂。
很搭。

2013年2月15日 星期五

[電影]寒戰


寒戰
Cold War

上映日期:2012-11-16

類  型:劇情、犯罪、動作

片  長:1時42分

導  演:梁樂民 、 陸劍青

演  員:郭富城、梁家輝、劉德華、李治廷、彭于晏、楊采妮、林家棟、錢嘉樂、安志杰、尹子維

發行公司:博偉、 華映娛樂

官方網站:http://www.facebook.com/ColdWarTW
http://skyfilms.pixnet.net/blog

===
"
★ 第17屆釜山國際電影節開幕片
★ 三大影帝郭富城、梁家輝、劉德華競飆演技
★ 萬眾矚目 香港十年來最好的電影"

有一度以為不是在看港片了,
匯集了眾多大牌跟卡司。
算是另外一個型態的推理片。

2013年2月14日 星期四

[電影]不再讓你孤單


不再讓你孤單
A Beautiful Life

上映日期:2011-06-17

類  型:愛情、劇情

片  長:2時02分

導  演:《無間道》劉偉強

演  員:《非誠勿擾2》舒淇、《南京!南京!》劉燁、《不能說的秘密》黃秋生、《出水芙蓉》田亮

發行公司:甲上

官方網站:http://abeautifullife.pixnet.net/blog
http://www.facebook.com/#!/applausemovietaiwan

很平順平凡的敘事,卻有這麼強的後座力。
尤其配上 不再讓你孤單,還有幾首歌曲的串場。

意外的發現,門頭溝區的美景,
那邊真的是很漂亮。

2013年2月7日 星期四

[歌詞]張雨生 - 掙扎


張雨生 - 掙扎

作詞:陳樂融 / 作曲:陳志遠 誰能受太多傷 會不會再失望
在這條大路上 有幾個影子在掙扎
越往後路越長 用真情來抵擋
滂沱的大雨中 我淋了一身又何妨 話雖少心知道 我的感情你明瞭
只能向前走 不能回頭望
夢雖多作得到 要讓世人都明瞭
有一種愛它永不老 我追過一切 我想安靜一些
我要說出誓言 我怕你拒絕
我看夠危險 我想溫柔一些
我會留住時間 我怕沒有你的明天 夢裡面有你出現
就像火焰可以燃燒永遠

張雨生 - 掙扎 - YouTube
http://www.youtube.com/watch?v=YtcEUW2CUbQ


2013年2月4日 星期一

amazone founder Jeff Bezos 遺憾最小化框架

遗憾最小化框架

如果非要找一句话,那就是亚马逊founder Jeff Bezos的“遗憾最小化框架”

我对老板说:“老板,我想做件疯狂的事情,我打算开家公司,在网上卖书。”之前我和他泛泛聊到过这个想法。“走,陪我散散步去。”他对我说。于是,和他在纽约中央公园逛了两个小时后,他最后对我说:“你这个打算听起来是很靠谱,但这个事情更适合那些眼前没有一份好工作的人去做。” 他的话让我苦思良久。
为了能做好这种重大的决定,我努力寻找正确的思考框架。我也和妻子讨论过这个念头,她对此非常支持:“不论你做什么,我都百分百支持你。”她嫁给了我这么一个有着稳定职业道路的稳重的家伙,而我现在想去做的事情是如此疯狂,但她却对此百分百支持——这个决定最后还是完全在于我自己。最后,我找到了一个框架,它能助你轻松做出人生的重大决定,我把它称作“遗憾最小化框架”。
我把自己想象成80岁的模样,并思考:“现在回望我的一生,我要把遗憾事件的数量降到最低。”我知道在我80岁时,我不会因这次尝试而后悔,我不会后悔参与到互联网这个我认定是了不起的事情中来。我知道,哪怕我失败了,我也不会遗憾,而我可能会因为没有尝试而最终后悔不已。如果你能想象自己年满八旬,并思考“老了的我会怎么想呢?”这个问题,你就可以因此而摆脱每日琐碎的困惑的干扰。你要知道,当时我从那家华尔街公司离职创业时恰逢年中,这样连年终分红都没我的份了。就是这类短期的事情会干扰你的判断,只要你把眼光放得更长远些,你就可以做好生命中的重大决定,而不至于日后后悔了。