python 爬蟲練習

python

利用python寫爬蟲程式, 

幾個小心得。 

 

1-純html網頁,爬很簡單,找出合適的元素,再用find_all搞定 

2-需用模擬器開連線,利用from selenium import webdriver來開啟網頁後,當純html網頁處理 

3-要自動卷到最下頁,而不是換頁的行為,要用driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")後,再讀取html 

 

蝦皮-搞不定,每次爬資料會少。

 

自我LV~