1回答
我能够抓取和抓取几个网站(事实上我已经抓取了900个网站)，基于pipelines.Now给出的关键字，问题是当我们遇到javapages (ajax)时，抓取不能抓取。我正在尝试使用以下代码，并对抓取ajax页面进行适当的更改第二个问题是，我面临的问题是scrapy无法抓取登录页面
浏览 2提问于2013-06-19得票数 0
回答已采纳
我必须从新闻网站抓取文章，与某些关键字，我正在使用Scrapy这个任务，检查是否存在一个关键字在页面上，或我从页面提取的内容，并搜索该关键字。但我面临的问题是，当列表页面只列出了带有链接到新闻页面的新闻，例如/features/cinema/时，我想避开这个页面，但我无法找到一种方法来检查它是否是一个列表页面。
浏览 0提问于2014-12-21得票数 0
1回答
如何存储网站内容？
、、、
我编写了脚本PHP，它应该抓取一个域的所有子页面，将文本(所有关键字)从子页面上传到数据库(MySQL)。接下来，我想快速查找具有特定关键字的url's。在我的例子中，如何保存和处理大文本数据？它应该像谷歌的网站爬虫一样工作
创建两个表:关键字，关键字子页面，关键字:关键字id，子页面id。
浏览 6提问于2014-03-25得票数 0
1回答
如何抓取搜索引擎结果
、、、
构建一个页面(asp.net)来抓取搜索引擎结果，然后显示在我自己的页面上，这是可行的吗？我的同事想开发一个包含搜索框的页面，当用户输入关键字并单击搜索时，它会传递给搜索引擎(如google)并抓取结果。然后将结果插入到数据库中，并在我的页面中显示结果。
浏览 0提问于2012-12-29得票数 0
我想从一个谷歌页面抓取搜索关键字前10名的搜索链接。属性模式？这是正确的方式吗，它目前不起作用。还有没有其他简单的方法？
浏览 0提问于2010-09-02得票数 0
回答已采纳
1回答
我有一个需求，那就是我需要确定是否有任何页面正在存储或读取HTML5数据存储。我正在使用HTMLUnit抓取网页。我查看了sourceforge列表，发现已经构建了对HTML5存储的支持。我还想过抓取页面上的所有Javascripts并搜索关键字，但有比这更好的方法吗？
浏览 2提问于2012-02-10得票数 0
回答已采纳
我搜索了谷歌搜索API，但没有找到一种方法来获得基于搜索关键字的网站位置排名，我认为这是不可能的。
但是我碰巧发现这个网站"“和我想做的一样，所以我只想知道它背后的想法，或者它是不合法的。
浏览 1提问于2009-05-27得票数 1
回答已采纳
当我在Google上搜索关键字X或Y时，我可以看到我的网站位于结果列表的顶端。
有什么方法不显示我的网站在谷歌的结果列表时，关键字Y被输入，而我的网站保持在结果列表的顶部，当关键字X被输入？
浏览 0提问于2013-08-26得票数 3
2回答
我写了3个简单的函数来抓取简单的html页面的标题、描述和关键字这是第一个抓取标题的函数{ $title = $array[1]; }它工作得很好，有两个函数可以抓取描述和关键字
浏览 0提问于2012-06-15得票数 0
回答已采纳
我正在创建一个从网页抓取所有链接的站点蜘蛛，以及该网页的html源代码。然后，它检查它找到的所有链接，并只保留内部链接。接下来，它转到这些内部页面中的每一个并重复上述过程。基本上，它的工作是抓取指定域下的所有页面，并抓取每个页面的源。现在这样做的原因是，我想运行一些检查，看看在任何页面上是否找到这个或那个关键字，以及列出每个页面的元信息。我想知道我是否应该在每个页面的爬行阶段对html运行这些检查，或者是否应该将所有
浏览 2提问于2011-02-20得票数 0
1回答
我正在尝试使用Scrapy来收集搜索关键字的结果(例如，朝鲜)。当我使用搜索栏时，我得到了一个结果列表，但随后试图根据结果页面的url ()用Scrapy抓取这些结果似乎行不通。这通常会让我暂停一下。如果我试图抓取整个页面的搜索结果，使用顶部的。页面看起来像这样：但是当我回到它的时候：我不知道why....Huge是怎么回事，感谢任何能帮上忙的人！
浏览 0提问于2020-03-03得票数 0
我试图递归地抓取一个网站，但我想排除该域下的一些网页，其中包含字符串“不必要的页面”。该字符串不在URL中。以下是用于构建的原始命令：例如，我想抓取维基百科。但我想排除包含关键字“药物”的文章。
有什么想法吗？
浏览 8提问于2014-06-23得票数 0
大家早上好，
希望一切顺利，我是在一个三角的情况下，我的多细节页，我想知道如何可以避免谷歌不抓取我的详细信息页和crowl其容器页面，其中包含90%相同的关键字，元和url。例如，我有一个页面，它是多个类别的母版页，当我打开一个类别时，它包含多个类别，它允许我们打开另一个页面，它现在是子类别，这个子类别有多个页面的区域副列表--这个页面和这个子类别页面相同，但是这些页面只包含区域列表，并且这个页面有经纪人发布的实际列
浏览 0提问于2015-02-26得票数 0
回答已采纳
4回答
对于已经创建的页面源，我有一个字符串。我需要从字符串中抓取几行文字。我需要的字符串介于另外两个字符串之间。这两个字符串是“关键字”：和，"“
如何在引号(如“关键字”：)之后搜索具有冒号的字符串？
浏览 8提问于2013-10-16得票数 0
回答已采纳
1回答
我是一个初学者，我想刮所有的文章与所选的关键字从页面上。我只能抓取单个页面上显示的文章标题，文章描述及其链接的一部分。我不仅想抓取搜索结果，还想抓取每个显示的链接的内容。
浏览 2提问于2018-02-22得票数 2
1回答
什么是抓取维基百科主要文章页面中所有HTML表格的最佳编程方法，其中页面标题与某些关键字匹配？然后，我想把列名和表数据放到数据库中。
还会获取URL和页面名称以进行属性设置。
浏览 8提问于2013-07-31得票数 0
1回答
需要建立一个小的java工具，从谷歌关键字工具在获得关键字建议和流量估计。
页面是用javascript呈现的，所以简单的抓取是不可能的。
浏览 2提问于2010-10-14得票数 2
1回答
我想要抓取这个网页下拉表中的关键字
问题是，每个项目的下拉菜单阻止我直接抓取表，因为它只获取每个项目的标题，而不是每个项目的内部内容。
浏览 3提问于2021-09-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
