20121228 貓空 煎茶院
久聞貓空大名,
還沒機會上去。
這次剛好跟上團,
不過,現在年輕人不喝茶嗎?
同行有念政大的,
都大說,怎麼會沒有人呢?
哈哈哈哈
唉~果然是懷念起,在東海時,
煮茶論劍的時代了。
暢聊一夜未眠,人生一大樂事。
hadoop dfsadmin -safemode leave
class apache {
service { 'apache': require => Package['httpd'] }
}
class apache-ssl inherits apache {
# host certificate is required for SSL to function
Service['apache'] { require +> File['apache.pem'] }
}
function list(tabs) {
var contents = '';
for (var i = 0; i < tabs.length; i++) {
contents += tabs[i].title + '\n';
contents += tabs[i].url + '\n';
}
document.getElementById('url-list').innerHTML = contents;
}
rm -rf /var/opt/cdh3/cluster/dfs/dn/*
[root@xenserver-hy03 ~]# vgdisplay
--- Volume group ---
VG Name VG_XenStorage-6049dfd0-702f-fe3b-f1f3-1ae286f1d34d
System ID
Format lvm2
Metadata Areas 4
Metadata Sequence No 61
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 7
Open LV 2
Max PV 0
Cur PV 4
Act PV 4
VG Size 1.63 TB
PE Size 4.00 MB
Total PE 427187
Alloc PE / Size 161085 / 629.24 GB
Free PE / Size 266102 / 1.02 TB
VG UUID zoWm9s-l2gG-bIEZ-V4Tn-7pt7-z7UP-bgHns2
lvcreate -L 20GB -n myiso VG_XenStorage-zzzzz #myiso为卷名
mkfs.ext3 /dev/VG_XenStorage-zzzzz/myiso
mkdir /myiso
and wget your iso http
xe sr-create name-label=ISOs type=iso \
device-config:location=/myiso/ ISOs \
device-config:legacy_mode=true content-type=iso
vi /etc/rc.local
add
mount /dev/VG_XenStorage-zzzzz/myiso /myiso
run
/etc/rc.local
and other
xe-mount-iso-sr /myiso
xe-toolstack-restart
一般而言再使用mahout recommender來說,都有幾個步驟。
public static void main (String args[])throws Exception{
DataModel model =new FileDataModel(new File("data/intro.csv"));
UserSimilarity similarity =new PearsonCorrelationSimilarity(model);
UserNeighborhood neighborhood =new NearestNUserNeighborhood(2,similarity,model);
Recommender recommender= new GenericUserBasedRecommender(model,neighborhood,similarity);
List recommendations =recommender.recommend(1, 2);
for(RecommendedItem recommendation :recommendations){
System.out.println(recommendation);
}
}
run apache mahout examples
官方網站上面有個有個說明,
Recommender Documentation - Apache Mahout - Apache Software Foundation
https://cwiki.apache.org/confluence/display/MAHOUT/Recommender+Documentation
To build and run the demo, follow the instructions below, which are written for Unix-like operating systems:
遇到了一些問題
HTTP ERROR: 503
SERVICE_UNAVAILABLE
RequestURI=/mahout-integration/RecommenderServlet
Powered by jetty://
:~/code/mahout-distribution-0.7/integration$ mvn jetty:run
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] Building Mahout Integration
[INFO] task-segment: [jetty:run]
[INFO] ------------------------------------------------------------------------
[INFO] Preparing jetty:run
[INFO] [resources:resources {execution: default-resources}]
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 3 resources
[INFO] [compiler:compile {execution: default-compile}]
[INFO] Nothing to compile - all classes are up to date
[INFO] [resources:testResources {execution: default-testResources}]
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO] [compiler:testCompile {execution: default-testCompile}]
[INFO] Nothing to compile - all classes are up to date
[INFO] [jetty:run {execution: default-cli}]
[INFO] Configuring Jetty for project: Mahout Integration
[INFO] Webapp source directory = /home/peicheng/code/mahout-distribution-0.7/integration/src/main/webapp
[INFO] web.xml file = /home/peicheng/code/mahout-distribution-0.7/integration/src/main/webapp/WEB-INF/web.xml
[INFO] Classes = /home/peicheng/code/mahout-distribution-0.7/integration/target/classes
2012-10-26 14:58:11.752::INFO: Logging to STDERR via org.mortbay.log.StdErrLog
[INFO] Context path = /mahout-integration
[INFO] Tmp directory = determined at runtime
[INFO] Web defaults = org/mortbay/jetty/webapp/webdefault.xml
[INFO] Web overrides = none
[INFO] Webapp directory = /home/peicheng/code/mahout-distribution-0.7/integration/src/main/webapp
[INFO] Starting jetty 6.1.10 ...
2012-10-26 14:58:11.829::INFO: jetty-6.1.10
2012-10-26 14:58:12.973::INFO: No Transaction manager found - if your webapp requires one, please configure one.
2012-10-26 14:58:12.400::WARN: failed taste-recommender
javax.servlet.ServletException: java.lang.IllegalStateException: java.lang.ClassNotFoundException: org.apache.mahout.cf.taste.example.grouplens.GroupLensRecommender
時 間 | 議 程 | |||||
8:30~9:00 | 報到 | |||||
9:00~9:10 | 開幕暨致歡迎詞:東海大學 葉芳栢校長 | |||||
9:10~10:10 | 專題演講:引導教育與大學公民願景:一位校友的奉獻與期待 | |||||
主持人 | 主講人 | |||||
羅文聰 東海大學學務長 | 吳兆田 alpha leader專業引導教師 | |||||
10:10~10:30 | 茶敘 | |||||
10:30~12:00 | alpha體系的建立:制度整合經驗分享 | |||||
主持人 | 分享人 | 回應人 | ||||
范聖興 東海大學教務長 | 羅文聰 東海大學學務長 | 孫台鼎 靜宜大學學務長 | ||||
12:00~13:00 | 午餐休息 | |||||
13:00~14:00 | 引導教育在東海實錄分享 | |||||
14:00~14:10 | 休息 | |||||
14:10~15:40 | 引導教育融入課程與活動的經驗分享:教師成長歷程 | |||||
主持人 | 分享人 | 回應人 | ||||
羅文聰 東海大學學務長 | 伊志宗 東海大學 Alpha leader指導老師 | 藍美華 政治大學 政大書院執行長 | ||||
15:40~15:50 | 休息 | |||||
15:50~17:10 | 作為alpha leaders的學習意義:學生學習成效分享 | |||||
主持人 | 分享人 | 回應人 | ||||
王偉華 東海大學 博雅書院書院長 | Alpha leaders | 余佩珊 東海大學企管系副教授 | ||||
17:10~17:20 | 休息 | |||||
17:20~18:00 | 綜合討論 主持人:東海大學羅文聰學務長 | |||||
18:00 | 賦歸 |
Add Color to the Terminal in Mac OS X
http://osxdaily.com/2012/02/21/add-color-to-the-terminal-in-mac-os-x/
Hbase 使用zookeeper 管理 HMaster 與 RegionServer。
Hbase也就是從BigTable來的,當table大到一個程度的時候,table會split成一個一個的region。
而RegionServer就把 HTable 存到Hadoop的HDFS。
Google BigTable使用Chubby來負責協調Node的工作,而HBase使用的就是zookeeper。
Trend Micro CDC SPN Team | Client HBase RegionServer
http://www.spnguru.com/tag/client-hbase-regionserver/
HBase技术介绍 « 搜索技术博客-淘宝
http://www.searchtb.com/2011/01/understanding-hbase.html
11111
會議時間:中華民國101年10月27日(星期六)
會議地點:東海大學人文大樓茂榜廳
時 間 | 議 程 | ||
8:30~9:00 | 報到 | ||
9:00~9:10 | 開幕暨致歡迎詞:東海大學 葉芳栢校長 | ||
9:10~9:20 | 開幕暨主席致詞:劉金源理事長 | ||
9:20~10:30 | 大學教養與博雅學習的三重唱 | ||
主持人 | 與談人 | ||
黃榮村校長 中國醫藥大學 | 黃俊傑(國立臺灣大學特聘教授) 吳思華(國立政治大學校長) 湯銘哲(國立成功大學特聘教授) | ||
10:20~10:30 | 茶敘 | ||
| 主持人5分鐘、引言人35分鐘、討論40分鐘,每場80分鐘 | ||
10:30~11:50 80min | 彰化師範大學性別友善校園發展經驗分享 | ||
主持人 | 引言人 | ||
葉芳栢校長 東海大學 | 郭麗安副校長 國立彰化師範大學 | ||
11:50~13:10 | 午餐時間(敬備餐盒) | ||
13:10~14:30 80min | 圖書館做為一種生活場域 | ||
主持人 | 引言人 | ||
李德財校長 國立中興大學 | 楊永良館長 國立交通大學 | ||
14:30~14:40 | 休息茶敘 | ||
14:40~16:00 80min | 大學校園應有的社區責任 | ||
主持人 | 引言人 | ||
程萬里校長 中原大學 | 楊志彬 國立暨南國際大學 | ||
16:00-16:05 | 休息 | ||
16:05~17:25 80min | 逢甲大學發展數位校園的經驗分享 | ||
主持人 | 分享人 | ||
劉金源理事長 中華民國通識教育學會 | 翟本瑞主任 逢甲大學通識教育中心 | ||
17:25~17:35 | 閉幕式暨30屆教師研習營介紹 |
11111
會議時間:中華民國101年10月27日(星期六)
會議地點:東海大學人文大樓茂榜廳
時 間 | 議 程 | ||
8:30~9:00 | 報到 | ||
9:00~9:10 | 開幕暨致歡迎詞:東海大學 葉芳栢校長 | ||
9:10~9:20 | 開幕暨主席致詞:劉金源理事長 | ||
9:20~10:30 | 大學教養與博雅學習的三重唱 | ||
主持人 | 與談人 | ||
黃榮村校長 中國醫藥大學 | 黃俊傑(國立臺灣大學特聘教授) 吳思華(國立政治大學校長) 湯銘哲(國立成功大學特聘教授) | ||
10:20~10:30 | 茶敘 | ||
| 主持人5分鐘、引言人35分鐘、討論40分鐘,每場80分鐘 | ||
10:30~11:50 80min | 彰化師範大學性別友善校園發展經驗分享 | ||
主持人 | 引言人 | ||
葉芳栢校長 東海大學 | 郭麗安副校長 國立彰化師範大學 | ||
11:50~13:10 | 午餐時間(敬備餐盒) | ||
13:10~14:30 80min | 圖書館做為一種生活場域 | ||
主持人 | 引言人 | ||
李德財校長 國立中興大學 | 楊永良館長 國立交通大學 | ||
14:30~14:40 | 休息茶敘 | ||
14:40~16:00 80min | 大學校園應有的社區責任 | ||
主持人 | 引言人 | ||
程萬里校長 中原大學 | 楊志彬 國立暨南國際大學 | ||
16:00-16:05 | 休息 | ||
16:05~17:25 80min | 逢甲大學發展數位校園的經驗分享 | ||
主持人 | 分享人 | ||
劉金源理事長 中華民國通識教育學會 | 翟本瑞主任 逢甲大學通識教育中心 | ||
17:25~17:35 | 閉幕式暨30屆教師研習營介紹 |
[tech]淺談 partition sort (1
partition sort 就是一種Map Reduce的精神,
其實,在 Google 發表Map Reduce的paper 以前,
我想實際上有遇到"Big Data"的公司,都有這樣類似的解法。
只是後來Hadoop把這件事情吵熱了,
甚至紛紛使用了Hadoop,
不過我對Google內部使用的Map Reduce的framework還是,很好奇。
基本上有external sort兩種解法,
partition sort有幾點要注意的,
你建立的partition table決定你的效率好壞,
也就是說,要是你把大部分的要處理的資料分到同一台機器去,或者是造成某幾台機器要計算的量其實是很少的。
那就沒有辦法達到 balance 的效果。
所以,我們預期的應該是,當partition出去之後,每個部份做完處理的時間應該是一樣的,這樣才不用等待,並且充份利用每個partiion的計算力。
要建立partition table有幾個方式,
透過抽樣,如果要sort的量夠大,我們就能假設,這樣的結果有一定的正確性。
經由控制reducer的num數,與每一個地方可以用的mem大小,能夠提高效率。
整個而言,要建立的partition table,有一個重要的特點:
同樣key的record會被分類到同一個partition去,
每一個partition彼此都有order順序的。
油条铺现象:如果你去跟街上卖油条、卖煎饼的师傅聊一聊,你会发现他们每月的收入很稳定,有的甚至可以月入几万。
网上总说创业99%会失败,什么九死一生,什么倾家荡产都用来形容创业者。这时候,想想卖油条煎饼的创业者,人家在街边随便摆个三轮车,就能养活一家人了。再去看看大街上的餐厅、奶茶铺、手机配件店、杂货店、床上用品店。。。。为什么这些创业者大部分都活得好好的?而号称IT创业精英的大学生反而一分钱都赚不到?
如果把“能够养活一家人”作为最低成功标准的话,那么大街上的普通人的创业成功率超过80%,而我们还用“创业九死一生、失败也正常”来安慰自己的无能,真他妈窝囊!
# -*- coding: utf-8 -*-
import chardet
if sys.getdefaultencoding() != 'utf-8':
reload(sys)
sys.setdefaultencoding('utf-8')
htmltxt=urllib2.urlopen(url).read()
chardetdict=chardet.detect(htmltxt)
if chardetdict.get('encoding')=='Big5':
htmltxt=htmltxt.decode('big5','ignore').encode('utf-8','ignore')
$time python wm4pc.py > tmp.pcpc5
Time spent in user mode (CPU seconds) : 37.743s
Time spent in kernel mode (CPU seconds) : 0.521s
Total time : 0:43.77s
CPU utilisation (percentage) : 87.4%
Times the process was swapped : 0
Times of major page faults : 0
Times of minor page faults : 89885
36177119 function calls in 360.682 seconds
$time python wm4pc.py > tmp.pctry
Time spent in user mode (CPU seconds) : 20.131s
Time spent in kernel mode (CPU seconds) : 0.307s
Total time : 0:21.07s
CPU utilisation (percentage) : 96.9%
Times the process was swapped : 0
Times of major page faults : 0
Times of minor page faults : 89889
$time python wm5pc.py > tmp.pctry5
Time spent in user mode (CPU seconds) : 31.343s
Time spent in kernel mode (CPU seconds) : 0.268s
Total time : 0:32.54s
CPU utilisation (percentage) : 97.1%
Times the process was swapped : 0
Times of major page faults : 0
Times of minor page faults : 89889