如何通过Power BI来抓取1688的产品数据进行分析？

在做项目之前我们肯定得先分析下需求，我看下我们需要干什么，达到什么样的目的？

我们有一张表，列了一些1688.com上的产品链接，预计采购数量，需要我们给一个大致价格。

1. 现有资源

数据表：

抓取数据表：

通过得到抓取后的单价及数量要求来实现价格的计算。

2. 分析问题

• 抓取产品页面上产品的价格
• 抓取产品页面上数量的要求
• 把价格和数量要求一一对应

首先我们来看下价格。目前可以归纳总结的一共有3种左右的价格形势，我们来看下不同的价格情况。

单独一个价格

价格区间

分段报价

链接是随机的，所以我们如果要进行抓取，至少要对数据源的格式要有所了解，这样才能避免在抓取的过程中出错。

3. 处理问题

因为我们使用的是PBI，所以我们可以使用PBI独有的函数，Html.Table和BrowserContents函数的组合。具体的使用方式可以上PQfans网站看下畅心写的文章。

A. 分析各种情况价格的CSS定位

• 分段报价

#mod-detail-price > div > table > tbody > tr.price > td.ladder-3-1 > span.value.price-length-5

• 价格区间

#mod-detail-price > div > table > tbody > tr.price > td.ladder-1-1

• 单个价格

#mod-detail-price > div > table > tbody > tr.price > td.ladder-1-1 > div > span.value

通过3种不同情况的定位，我们可以得到一个包含所有价格情况的定位 tr.price>*

B. 清洗抓取后的信息

我们以分阶段链接的产品来尝试，通过抓取我们得到的是一个表格形式的结果。

通过清洗我们得到如下这种结果，也就是我们所需要3个阶段的价格情况。

同理我们可以尝试抓取数量

通过清洗后得到如下结果，代表了数量的区间上限。

C. 合并数据

Table.AddColumn(删除的副本1,                 "自定义",                 each Table.FromColumns({_1688_price([#"Cсылка на товар *"])[目标],                                        _1688_number([#"Cсылка на товар *"])[目标2]                                       },                                      {"单价","数量要求"}                                      )                )

这里使用了2个自定义函数_1688_price和_1688_number来进行价格和数量的抓取。把抓取后的数据再通过Table.FromColumns进行合并。

最后展开即可。

4. 要点总结

• 分析css定位并抓取所需要的数据。
• 结合各类抓取结果来进行清洗数据。
• 通过多列合并达到所需要的对应关系。 

如果觉得有帮助，那麻烦您进行转发，让更多的人能够提高自身的工作效率。