在Holi,两方面的感受最深刻:
爬虫这边已经把数据存进MySQL了。 但是和后台那边还没有想好怎么联调。
这个想法应该是可以的,毕竟Java和Python都很强大。
总体思想:
在有新用户加入或者有新的数据需要更新的时候,Java直接调用爬虫并传入参数。 结果就是数据存入到了数据库。
了解到Java有Runtime.getRuntime().exec()
这样就好办多了。
这个方法其实就好像是cmd命令行一样的执行python 程序:
Runtime.getRuntime().exec("python D:\\studentdb.py id password");
id和password就是传入的参数。 把原爬虫程序改为:
if __name__ == '__main__':
# 初始化爬虫对象
xs = XDspiderStudent()
# 登录(在此处传入正确的个人学号与密码信息)
#从Java里传入参数
xs.login((sys.argv[1]), (sys.argv[2]))
xs.Store()
xs.saveMysql()
这样即可。
这样需要一个服务器也就可以了。 就是不知到怎么部署,还需要学习。