4回答
嗨，我用python编写了一个网络爬虫，从nytimes.com这样的新闻网站上提取新闻文章。我想知道什么是一个好的数据库作为这个项目的后端？
提前感谢！
浏览 3提问于2010-01-27得票数 1
回答已采纳
1回答
我想写一个简单的爬虫
将链接保存在数据库(mysql)中，并使用链接在网站上公布的时间戳(而不是爬虫检测到链接的时间)。爬虫如何知道一个新的链接已经添加到该网站？例如，如果一个新闻网站发布了一篇新文章，而我希望我的爬虫立即解析链接，那么爬虫如何知道这一点(googlenews也能够做it...so .？)也就是说，爬虫是否立即知道新的文章链接？或者google只是在一个固定的时间间隔(每一小时等一次)爬行网站
浏览 4提问于2014-06-06得票数 3
回答已采纳
5回答
我在一个项目上工作，这需要在Java中设计一个网络爬虫，可以采取用户查询一个特定的新闻主题，然后访问不同的新闻网站，然后从这些网页提取新闻内容，并将其存储在一些文件/数据库中。现在我有代码从单个页面提取新闻内容，这需要手动获取页面，但我不知道如何将它集成在一个网络爬虫中，从不同的页面提取内容。
浏览 0提问于2012-04-05得票数 4
回答已采纳
然后阅读这些网站后，我需要过滤新闻e，例如与梅赛德斯奔驰相关的新闻，然后我需要显示在该网站上参考原始来源。目前，我知道PHP，可以在其中建立复杂的网站。
浏览 2提问于2010-09-13得票数 0
回答已采纳
1回答
我在做一个爬虫程序。我已经做了爬虫，从网页上塞新闻，它可以上传到我的本地计算机，但我想直接上传到FTP服务器。for i in range(0,len(a),2):
url = defaultInformation['gooktoHome'] + a[i].attrs['href
浏览 4提问于2020-06-09得票数 0
回答已采纳
1回答
我只是从scrapy开始，并试图开发一个项目，我从网站上抓取‘新闻链接’。例如，有一个网站iltalehti.fi，我想要抓取他们的新闻，比方说每5分钟。因此，最终结果将是一个只包含不同条目的数据库，而不是两次包含相同新闻链接的数据库(如果我每隔5分钟运行一次爬虫程序，则可能会出现200次)。任何帮助都是非常受欢迎的，请注意我对python知之甚少！
浏览 20提问于2020-04-07得票数 0
我有一个Python类，它接受一个url参数，并在一个新闻网站上启动一个爬虫。res = NewsArticle.from_elasticsearch(response)
将调用...the方法__init__并启动我的爬虫它是否没有启动我的爬虫或调用init方法？
浏览 1提问于2017-02-13得票数 0
回答已采纳
2回答
Google新闻爬虫翻页
、、、、
继续之前的工作，抓取有关查询的所有新闻结果，并返回标题和网址，我正在完善的爬虫，以获得所有的结果从所有页面的谷歌新闻。目前的代码似乎只能返回第一页的谷歌新闻搜索结果。
浏览 7提问于2017-05-04得票数 0
回答已采纳
最近我在我的大学被分配了一个项目，那就是一个新闻聚合器。我发现Flipboard是一个非常有趣和病毒的新闻聚合应用程序。为了实现这一点，我正在构建一个网络爬虫，它将抓取网站，以获取最近的新闻和帖子。我目前使用Python2.7、urllib2和BeautifulSoup来爬行一个网站。我想知道，我如何才能实现通过一个通用爬虫从数千个网站中获取数据的目标？
浏览 7提问于2015-09-19得票数 0
回答已采纳
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
这意味着它将定期重新访问一些门户页面，以获得更新。
安排优先次序。
浏览 8提问于2010-02-28得票数 11
回答已采纳
有些网站是新闻/博客网站。如果我爬行，比方说，techcrunch.com，并存储和索引他们的首页，那么在几个小时内，我的索引该页将过时。
浏览 0提问于2012-04-26得票数 2
2回答
实际上，我打算开发一个新闻阅读器系统，可以从网络上抓取和收集新闻(用爬虫)，然后，我想在网站上找到相似或相关的新闻(为了防止在网站上显示重复的新闻)。我认为最好的活生生的例子是谷歌新闻，它从网络上收集新闻，然后对相关的新闻和文章进行分类和查找。这就是我想要做的。
做这件事最好的算法是什么？
浏览 0提问于2012-09-21得票数 4
回答已采纳
2回答
我有使用ajax加载帖子的新闻门户，以获得更好的用户体验。Web爬虫看不到javascript生成的链接和文本，所以我读到了关于为爬虫使用noscript标记的文章。许多SEO分析器网站现在看到了这些内容，但我不知道真正的爬虫像谷歌和其他。他的这是一个很好的方式，使我的内容可见的爬虫？我知道这很容易..。
浏览 0提问于2015-04-22得票数 3
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
我正在尝试使用网络爬虫从体育、主页、世界、商业和技术中获取新闻内容，我有这样的代码，它可以抓取页面的标题和url，如何获取页面的url并打开它并获取它的正文内容。#python codefrom bs4 import BeautifulSoup
page = requests.get
浏览 2提问于2021-11-30得票数 0
回答已采纳
我正在尝试使用python中的web-Crawler来打印facebook推荐器的数量。例如，在这篇来自天空新闻()的文章中，有大约60个facebook推荐。我想用网络爬虫在python程序中打印这个数字。
浏览 0提问于2014-09-05得票数 2
我正在做一个重点突出的爬虫，面对一个问题，同时在文档中找到一个关键短语。假设我想在文档中搜索的关键短语是“新事物”if soup.find_all(text = re.compile("Somethingre.IGNORECASE)):我希望它只在下列情况下打印true"$#something新“"thisSomething新闻
浏览 1提问于2014-09-26得票数 2
回答已采纳
我现在非常需要新闻文章来测试LSI实现(它是一门外语，所以没有常用的文件包)。所以我需要一个爬虫，它给定一个起始url，假设遵循所有包含的链接，并将它们的内容保存到.txt文件中，如果我们可以指定格式为UTF8，我会在天堂。我没有这方面的专业知识，所以我恳求你一些建议，其中爬虫用于这项任务。
浏览 2提问于2010-02-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
