[python]urllib2 open urllib2.HTTPError: HTTP Error 404: Not Found

之前寫的crawler 十一月的事情了，
昨天想說把它在開啟來跑不料 404發生了。
python urltest3.py
Traceback (most recent call last):
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 404: Not Found
Exit 1

使用httpfox , tamper data看了也沒啥異狀，
昨天晚上弄到三點多，
今天早上起來就在想，用了header的方式都試了。

掛了sock5的proxy使用server的ip來用瀏覽器瀏覽看看，
是不是ip被ban了...
果不其然，
連回去bbs的server測試居然是可以的，
然後找了proxy，掛了還是不行。

原來，

X-Forwarded-For[15] a de facto standard for identifying the originating IP address of a client connecting to a web server through an HTTP proxy or load balancer
他還有看一個這個。

順手把 header內的XFF改掉，果然就可以了。

我的青春阿..... ....