我们要正确地取得资料,可以使用政府的open data收集每天的资料。
本篇会从政府资料开放平台取得资讯作为范例。
范例档案在:Day15_getStockDataFromOpenData.py
政府资料开放平台简介
基于Open data的概念,以及open government的概念,政府大力推广open data,其中交易的方面也是如此。
以前需要爬网站才能取得的资料,现在政府提供查询平台和API,让我们更容易地取得资讯。
我们这次的资料就是从这边取得:盘后资讯 > 个股日成交资讯
取得csv资料
根据介绍,这份资料为csv格式,栏位包含:证券代号、证券名称、成交股数、成交金额、开盘价、最高价、最低价、收盘价、涨跌价差、成交笔数。
接着我们去下载档案来观察一下里面的资料吧!首先去「资料下载网址」那边下载csv:
可以看到格式是这样的:
是不是发现没有日期!
没错,他们没有提供日期,因为是每日更新,所以他们都不会有日期,上面写的都是最近一次交易日的盘后资讯。
所以我们要自己加上日期。
解析资料
取得档案后,观察里面的内容,发现还满干净的,也跟他们的说明相同,那我们就直接拿来使用啰~
取得API提供的csv资料:
2.解析内文,把有逗点的文字内容变成dataframe格式
3.但是这样我们的第一行也会被认为是一般资料,这时候要把第一行变成栏位名称,重新排列。
这样就是新的资料啰!
#python实战#