Stata | 下载和整理上市公司行业分类结果

PyStaData

发布于 2020-07-21 02:57:07

2.7K10

代码可运行

文章被收录于专栏：PyStaDataPyStaData

运行总次数：0

代码可运行

提出问题

证监会网站会公布每季度上市公司行业分类结果[1]，但提供的是 PDF 版本，难以直接用作数据匹配。刚需要用到这份数据，懒得手动下载和转换，所以用 Stata 写了下获取和整理数据。

思路分析

使用 Stata16 调用 Python 完成文件的下载、PDF 转换成 Excel 文件。
使用 Stata 进行数据整理，涉及观测值去重、填充和利用正则表达式生成新变量等内容。

实现过程

调用 Python 下载和提取文件

python:
import requests
import pdfplumber
from openpyxl import Workbook

# 下载 PDF 文件
pdf_2019q4 = 'http://www.csrc.gov.cn/pub/newsite/scb/ssgshyfljg/202001/W020200110325952653089.pdf'
r = requests.get(pdf_2019q4, stream=True)
with open("证监会2019年4季度上市公司行业分类结果.pdf", "wb") as pdf:
    for content in r:
            pdf.write(content)

# 提取并写入 Excel
wb = Workbook()
ws = wb.active
with pdfplumber.open("证监会2019年4季度上市公司行业分类结果.pdf") as pdf:
    for page in pdf.pages:
        for table in page.extract_tables():
            for row in table:
                ws.append(row)
wb.save("证监会2019年4季度上市公司行业分类结果.xlsx")
end

整理数据

import excel using "证监会2019年4季度上市公司行业分类结果.xlsx", clear
duplicates drop

* ssc install nrow, replace
* ssc install carryforward, replace
nrow
carryforward _all,replace
gen 行业门类与大类 = ustrregexs(0) + 行业大类代码 if ustrregexm(门类名称及代码,"[A-Z]") == 1
save "2019q4上市公司行业分类.dta", replace