站長之家注:在大數據時代,如何有效獲取數據已成為驅動業務決策的關鍵技能。分析市場趨勢,監視競爭對手等都需要進行數據採集。而網頁抓取則是數據採集的主要方法之一。
在本文中,Christopher Zita將和大家展示 3 種利用網絡抓取賺錢的方法,全程只需幾個小時就能學會,所用代碼不到 50 行。
自動程序可用於執行特定的操作,你可以將其出售給沒有技術能力的人以獲取收益。
為了展示如何創建和出售自動程序,Christopher Zita創建了一個Airbnb自動抓取程序。該程序允許用户輸入位置,它將抓取Airbnb在該位置提供的所有房屋數據,包括價格、等級、允許入駐的客人數量等。所有的這些都是通過抓取Airbnb上的數據來完成的。
為了演示程序的實際運行,Christopher Zita在程序中輸入了羅馬,然後在幾秒鐘內獲得了 272 個Airbnb的相關數據:
現在,查看所有房屋數據變得非常簡單,過濾起來也容易得多。以Christopher Zita家為例,他們家有四口人,如果要去羅馬,會在Airbnb上尋找價格合理且至少有 2 張牀的酒店。而在得到這個表格中的數據後,excel可以非常輕鬆地進行過濾。從這 272 個結果中,找到了 7 個滿足要求的酒店。
在這 7 家酒店中,Christopher Zita選擇了梵蒂岡聖彼得丹尼爾酒店。因為通過數據對比,可以看出,這家酒店評級很高,並且是 7 家酒店中最便宜的,每晚收費僅 61 美元。選擇所需鏈接之後,只需複製這個鏈接到瀏覽器中然後預訂即可。
外出旅遊度假時,尋找酒店是一項艱鉅的任務。為此,有人願意通過付費來簡化這一過程。有了這個自動程序,你只需要 5 分鐘就能以低廉的價格預訂到讓你滿意的房間。
網頁抓取最常見的用途之一就是從網站上獲得價格。通過創建程序抓取特定產品的價格數據,當價格下降到一定程度時,它會在產品售罄之前自動購買該產品。
接下來,Christopher Zita將向大家展示一個可以為大家節省很多錢同時還能賺錢的方法:
每個電商網站都會有限量特價商品,它們會顯示商品的原始價格和打折後的價格,但一般不會顯示在原價的基礎上打了多少折扣。例如,一隻手錶最初的價格為 350 美元,而促銷價格為 300 美元,您會認為 50 美元的折扣是一筆不小的數目,但實際上只有14.2%的折扣。而如果一件T恤最初的價格為 50 美元,而銷售價格為 40 美元,你會覺得沒便宜多少,但實際上它的折扣率比手錶高出20%。因此,您可以通過購買折扣率最高的產品來省錢/賺錢。
下面以百貨商店Hudson's'Bay為例,來進行數據抓取實驗,通過獲取所有商品的原始價格和折扣價格,來找出折扣率最高的商品。
抓取網站數據後,我們獲得了 900 多種商品的數據,其中只有Perry Ellis純色襯衫這 1 種商品的折扣率在50%以上。
由於是限時優惠,這件襯衫的價格很快將漲回 90 美元左右。因此,如果現在以 40 美元的價格購買它,並在限時優惠結束後以 60 美元的價格賣出,仍然可以賺 20 美元。
這是一種方法,如果你找到合適的利基市場,就有可能賺很多錢。
網絡上有數百萬個可供所有人免費使用的數據集,這些數據通常很容易收集。當然,還有一些數據不容易獲得,且需要花費大量的時間將其可視化,銷售數據就是這樣演變而來。像天眼查、企查查這類的公司就是通過專注獲取企業工商變更信息並將可視化,然後通過“購買會員可查”的形式銷售給用户。
類似模式的還有這家體育數據網站BigDataBall,通過出售球員各項比賽數據以及其他統計信息,該網站一個賽季向用户收取 30 美元。他們定這個價並不是因為他們網站有這個數據,而是他們抓取數據後,將這些數據整理分類,然後以易於閲讀且清晰的結構展示這些數據。
現在,Christopher Zita要做的是免費獲取和BigDataBall相同的數據,然後將其放入結構化數據集中。BigDataBall並不是唯一擁有這些數據的網站,Basketball-Reference.com擁有相同的數據,然而該網站沒有將數據結構化,用户難以過濾並下載所需的數據集。Christopher Zita利用網頁抓取工具,抓取了Basketball-Reference.com網頁中的所有球員數據。
所有NBA球員日誌的結構化數據集
目前為止,他已經獲得了本賽季超過 16000 個球員日誌。通過網絡抓取,在幾分鐘之內Christopher Zita獲得了這些數據並節省了 30 美元。
當然,Christopher Zita也可以像BigDataBall一樣利用網頁抓取工具查找難以手動獲取的數據,讓計算機完成工作,然後將數據可視化並出售給對這些數據感興趣的人。
總結
現如今,網頁抓取已經成為一種非常獨特且新穎的賺錢方式。如果在適當的情況下應用它,你可以很容易賺到錢。
每天一篇超實用創業案例,掃碼關注【站長視界】↓↓↓