Python 爬蟲紀錄 其之一

作者： -
練習Ｐython爬蟲也一段時間了

開始記錄其中遇到的困難以及程式

也是希望自己偶爾寫篇文章

不要每天耍廢

讀取網頁
import urllib2
request = urllib2.Request("http://")
response = urllib2.urlopen(request)
print response.read()

參考某些網站後，上述是一個實際又方便的寫法


urlopen包含三個參數: url data timeout
urlopen(url, data, timeout) 


第一個參數url就是URL
第二個參數data是到訪URL時要傳送的數據
第三個timeout是設置超時時間


接著應該要記錄一下get跟post的差異
不過今日這篇就到這裡吧XD

留言

張貼留言

這個網誌中的熱門文章

Notepad++ 執行 CMD、C++、Python

作者： -
要執行部分語言如:CMD、C++、Python在NotePad++ 環境中可以使用NppExec插件來執行。 首先，我們需要下載NppExec的插件： http://sourceforge.net/projects/npp-plugins/files/NppExec/ 在下載好的壓縮包裡，將檔案一同放入到notepad++的安裝目錄下的plugins目錄下 完成上面的步驟之後啟動或者是重新啟動NotePad++，就能能夠在"外掛模組(P)"欄中找到"NppExec"工具組。 接著選擇Execute後，會出現所需要的指令，以下分成CMD、C++以及Python 1.CMD:  cmd /c "$(FULL_CURRENT_PATH)" 2.C++: C:\Dev-Cpp\bin\gcc.exe "$(FULL_CURRENT_PATH)" -o $(NAME_PART)         $(CURRENT_DIRECTORY)\$(NAME_PART).exe 3.Python: npp_save     cd "$(CURRENT_DIRECTORY)"     C:\Python27\python.exe "$(FILE_NAME)"     C:\Python27\python.exe -m tabnanny "$(FULL_CURRENT_PATH)" 完成後，接著按F6就可以執行!!
閱讀完整內容

Python 2.7 ascii' codec can't encode characters

作者： -
對於Pythong使用的版本是2.7版，就一定會碰到編碼上的問題 像是: UnicodeEncodeError ： UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-78: ordinal not in range(128) 會出現這個問題，是因為習慣性的編碼是ascii，會用此去編碼解碼程式中的符號以及文字，但是常用的中文不在此範圍內，也就是上述看到的128。 其實解決的方式很簡單，只要去修改其默認的編碼就好，一般來說會改成UTF-8的編碼，但是繁體中文的編碼是Big5，所以在此要將其編碼改成Big5。 因此習慣性會在一開始就加上 import sys reload(sys) sys.setdefaultencoding('big5') 這樣後顯示的結果就不會是亂碼，而是繁體中文了。 另外， CP950的問題還蠻繁的，這篇就不仔細探討這個問題了 希望每天都記錄自己遇到的問題，之後方能略過啊!!!
閱讀完整內容

關於"波羅的海驚現不明巨型物體 Baltic Sea anomaly " 不專業的判讀

作者： -
圖片
這篇是在2011年左右的消息，現在都已經2015年，台灣的新聞訊息更新速度實在不夠快。 wiki上已經有各種解釋以及分析: http://en.wikipedia.org/wiki/Baltic_Sea_anomaly 像是根據Volker Brüchert教授的分析，採樣的結果是 花崗岩、 片麻岩和砂岩，之中也夾雜著一些玄武岩等等。整體而言學界對於該物體不太認為是外星人產物，比較像是二戰時期德軍所做的反潛艦的防禦工事。 以下是透過自己不太專業水下地形測繪背景對於資料的解釋: 主要可以看到的資料分成1.測深影像 2.測掃深那影像 3.光學影像 1.測深影像 上述張影像是測深機的聲納影像，根據這團隊在網站上的資料是說該影像是單音束測深儀的資料，該處水深大約85-90公尺，影像解析度偏低，以及資料太多黑影，可能有干擾的情況，也就是代表資料品質太差，該深度能夠使用２００ｋｈｚ頻率的測深儀，束寬在1.5度或者是5度的情況下，資料品質應該不至於這麼差，對於這情形而言，只會有讓大家有更多的解釋以及意想空間。 　　現今對於水下地形大多是使用多音束測深儀，會相較於單音束測深儀更容易了解地形的真實樣貌情況，不太需要去做資料內插。但2011年的消息是沒有使用多音束測深儀且對於單音束測深儀的率定校正做的也很差，補上2013年該團隊的多音束資料，如下圖所示 From   http://thebalticanomaly.se 　　此圖看起來像戰艦嗎?可能並非如此吧，從形狀看起來並不像天然形成的，而是一個人造物，至於是不是UFO呢，可能就要看個人的認知以及解釋了。不過這個3D影像其解析度也不夠高，資料品質也不怎佳，該團隊對於儀器部分可能沒有深入研究而只是會使用打開儀器而已。 2.測掃聲納影像 　　這張測掃聲納的影像問題似乎蠻大的，有開其他聲納儀器導致聲波有互相干擾的可能，會導致資料品質不佳(影像中線段的部分)。測掃聲納以及測深儀最好不要同時打開，會有資料干擾的情況發生，測掃影像能夠從陰影的部分判斷出地形以及地物的型態，反射訊號的強弱了解與周遭物質反射強弱的差異。 　　解釋這種測掃深那影像是門藝術，專業的人可以解釋得很好，自己不專業大概就能簡單看看而已，下面這網站有研究員( Woods Hole Oceanogr
閱讀完整內容