什么样的语言能够处理编写自己的网页爬虫？但是如果我需要的话，我想有一个很好的理由去学习一门新的语言。
浏览 0提问于2011-08-02得票数 0
回答已采纳
5回答
我在一个项目上工作，这需要在Java中设计一个网络爬虫，可以采取用户查询一个特定的新闻主题，然后访问不同的新闻网站，然后从这些网页提取新闻内容，并将其存储在一些文件/数据库中。现在我有代码从单个页面提取新闻内容，这需要手动获取页面，但我不知道如何将它集成在一个网络爬虫中，从不同的页面提取内容。有没有人可以提供一些好的Java教程或实现的链接，我可以根据需要使用或修改这些链接？
浏览 0提问于2012-04-05得票数 4
回答已采纳
2回答
我试图为爬虫创建一个通用的regex模式，以避免所谓的“爬虫陷阱”(只添加url参数并引用相同页面的链接，这会导致大量无用的数据)。很多时候，这些链接只是一次又一次地将相同的部分添加到URL中。我可以使用正则表达式缩小爬虫的范围，并且我希望有一个模式，它告诉爬虫忽略所有有重复部分的内容。用正则表达式可以吗？谢谢你提前给我一些提示！我只想澄清：
爬虫陷阱的设计并不是为了防止爬行，而是由于网页设计不佳。我们正在爬行的所有页面都明确地允许我们这样做！
浏览 4提问于2015-09-28得票数 1
回答已采纳
3回答
网络爬虫反馈？
、、、
无论如何，作为对我上一个问题的跟进，我写了一个小的网络爬虫，可以访问网站。
- Main.java - HTMLUtils.java
浏览 12提问于2010-05-29得票数 2
回答已采纳
1回答
我计划做一个responsive+mobile的第一个网页设计。所以我的计划是：
不过，我在这里有个问题。
浏览 6提问于2012-10-18得票数 4
回答已采纳
1回答
识别搜索爬行器
、、、
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
浏览 2提问于2015-10-21得票数 1
回答已采纳
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
1回答
我想写一个Java代码来解析某个网站。网站中的每个结果都出现在指定的URL中。我该怎么开始呢？有没有好的库可以使用？我能从你在这个领域的经验中受益吗？
浏览 0提问于2011-07-26得票数 2
回答已采纳
1回答
利用JSoup浏览网页
、、、
我制作了一个网络刮刀，在IMDB上抓取一些信息。它通过将url中的数字更改为不同的随机数字来遍历每个页面，然后在这个新页面上重复web抓取过程。我怎样才能在BFI网站上做到这一点？我看不到从一部电影到另一部电影的路。
浏览 2提问于2013-10-25得票数 0
回答已采纳
1回答
我正在用C++设计一个网络爬虫，但是有一个网页问我：“你至少18岁吗？”当我第一次使用URLDownloadToFileW获取网页时，当然我必须单击“是”。
浏览 1提问于2016-10-01得票数 0
我会在我的Java应用程序中使用Apache从一个或多个网站抓取网页。基本上，为了处理页面内容(文本等)，我需要为web爬虫找到的每个网页调用我的Java应用程序的方法。如何做到这一点？
浏览 7提问于2016-06-01得票数 2
回答已采纳
1回答
我在Java中有一个web爬虫应用程序，需要访问网页中的所有链接。问题是，在某些页面中，链接是由javascript函数生成的。其他远程网页花费了更多的时间。
我希望找到网页中所有链接的最简单/最快的方法，甚至是Java中的javascript链接。(欢迎使用C/C++解决方案)。我也知道 (爬虫)有一个来自Javascript的链接提取器，但我不确定该代码是否可以从Nutch中“提取”出来，用于另一个上下文中。
浏览 4提问于2010-11-09得票数 0
我是通过哈多普的nutch一章阅读的，这是权威的指南。我理解使用反向链接对页面进行排序的概念。然而，当你只想爬几个网站的时候，我看不出你在扮演什么角色。由于linkdb的创建是一个地图减少作业，它必然会占用大量的计算资源。我只是想知道为什么linkdb总是在大多数nutch用例只是获取指定urls的web内容时生成的。
浏览 2提问于2015-04-16得票数 0
回答已采纳
1回答
如果我写了一篇文章，他的链接是'example.com/abc.php‘&这篇文章在搜索引擎中排名靠前。 几天后，我更新了这篇文章，包括它的内容和'xyz.php‘的永久链接。 现在，之前URL为'example.com/abc.php‘的帖子被更新为'example.com/xyz.php’。 那么搜索引擎将如何知道这是与URL example.com/abc.php排名相同的页面/帖子。并且需要将搜索结果中的链接更新为“example.com/xyz.php”，而不影响排名。 在更新固定链接之前和之后，在为搜索引擎创建一个唯一标识页面的新帖子时，有
浏览 35提问于2021-01-25得票数 0
事实上，它不仅需要有内容，而且至少要有足够的内容来达到与相邻div一样高的水平，这样设计才能正确地对齐。
我想出的方法是使用一个css::after伪元素，并将其填充几段内容。我知道这是一个丑陋的黑客，但我不擅长CSS (我们没有专业的设计师)，网站真的很复杂，项目已经晚了。
浏览 0提问于2014-09-30得票数 0
1回答
如何在java中创建文档预览
、、、、
我有一个要求，我必须读取一个文件(pdf，text，doc，docx，ppt)，并在java/javascript中的文档链接上显示其预览(与Google网页预览或爬虫相同)。有没有可能用java来达到这个要求。提前谢谢。
浏览 8提问于2012-06-12得票数 0
想知道谷歌网站爬虫是如何找到我的网站。假设我没有在谷歌索引的任何其他地方发布网址。
有人能解释一下吗？
浏览 2提问于2016-04-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
