BS1054-利用Django和scrapy实现电影爱好者论坛

计算机程序优异哥

发布于 2022-12-05 10:27:56

3950

发布于 2022-12-05 10:27:56

文章被收录于专栏：毕设程序汇总

利用Django和scrapy实现电影爱好者论坛，系统Django和scrapy技术，通过scrapy开发实现电源资源采集爬虫程序收集豆瓣电影网站数据，经过数据处理，数据分析，数据去重转换成结构化数据，采用Django技术搭建BS网站系统，对电影资源进行线上网站的推荐技分析可视化。

原文地址

一、程序设计

本次基于地图实现的车位智慧推荐系统APP，主要内容涉及：

主要功能模块：用户注册，用户登录，电源推荐，评分展示，数据分析可视化等

主要包含技术：Django，scrapy爬虫，html，javascript

主要包含算法：数据分析计算等

二、效果实现

系统首页

电源展示

分析统计

其他效果省略

核心代码

// 电影评论数据获取
    def getComment():
    datalist = []
    con = sqlite3.connect("movie.db")
    cur = con.cursor()
    sql = "select * from movie"
    data = cur.execute(sql)
    for item in data:  # 若执行后直接关掉数据库相应的数据也会消失
        datalist.append(item)
    for movie in datalist:
        id, url = movie[0], movie[1]
        print(url)
        html = askURL(url)  # 保存获取到的网页源码
        # 2、逐一解析数据
        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_="comment"):
            data = []
            item = str(item)
            user = re.findall(findComment, item)[1][1]
            text_re = re.findall(findCommentText, item)
            if len(text_re) > 0:
                text = text_re[0]
            else:
                continue
            data.append(id)
            data.append(user)  # 影片链接
            data.append(text)
            try:
                sql = "insert into comment(movie_id, user, content) values(%d, '%s', '%s')" % (data[0], data[1], data[2])
                # print(sql)
                cur.execute(sql)
                con.commit()
            except:
                pass
    cur.close()
    con.close()

本文系转载，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

scrapy