当尝试使用https协议抓取网站时，PHPCrawler返回一个错误，如下所示
Error connecting to https://www.something.com: Host unreachable然而，它确实使用http://协议抓取站点。我的问题是为什么会发生这种情况，PHPCrawler有没有办法用https协议抓取网站？谢谢。
浏览 9提问于2016-09-08得票数 1
1回答
从像素监视器中抓取数据
、、、、
我以前从来没有使用过数据抓取，所以我不熟悉html的结构和抓取过程。我想知道是否有可能从这个设备中抓取变化的值，并将它们输入到我的influxdb数据库中？我已经读到，抓取的数据应该首先放入普罗米修斯数据格式。我可以单击箭头并转到不同的窗口来查看其他数据点。
浏览 9提问于2021-10-11得票数 0
是否有可能完全下载一个网站或查看其所有代码？例如，我知道你可以在浏览器中查看页面源代码，但是有没有一种方法可以下载所有的网站代码，然后在我自己的服务器上运行它，或者更改它并运行它？
浏览 0提问于2016-09-01得票数 8
有很多工具可以在javascript关闭的情况下抓取HTML页面，但是有没有什么工具可以在javascript打开的情况下抓取页面，包括按下javascript回调按钮？我目前正在尝试抓取一个单独通过javascript调用导航的站点。所有指向内容的按钮都在看不到href的情况下执行javascript。我可以对javascript调用进行反向工程(部分返回HTML)，但这需要一些时间，有什么捷径吗？
浏览 1提问于2009-09-15得票数 1
回答已采纳
4回答
我注意到允许你通过http://协议抓取和抓取页面。然而，许多链接试图在iTunes中打开，而不是在浏览器中打开。例如，当您转到页面时，它会立即尝试使用itms://协议打开url。能否以某种方式爬行itms://协议链接本身？
浏览 0提问于2010-06-23得票数 14
1回答
HTML5直播有哪些选项？在我真正开始开发任何东西之前，我想首先找出哪些协议可供我使用，如RTSP等。我读过一些可用的选择，比如RTSP、it self和DASH，但我不太确定其中哪一个是当前最受支持的协议，并且拥有最好的库。
浏览 2提问于2015-09-03得票数 0
1回答
我有过很多使用的经验，但是在这个项目中，我应该使用。我正在尝试从一个网站中刮取数据，但它返回以重新获得访问，请确保在重新加载页面之前启用了cookie和JavaScript。func crawl(search savedSearch) { extensions.RandomUserAgent(c) c.OnHTML("*", func(e *colly.HTMLElement) {
浏览 5提问于2020-10-04得票数 1
1回答
下载FLV视频
、、
我正在制作一个程序，帮助我从crunchyroll (当然是合法的)下载一整季的动漫，供私人使用，因为我的互联网连接经常中断。我知道它和FLV，但我不确定如何从视频中提取它。这里是一个示例视频，有人能告诉我我应该做什么/需要什么吗？查找ID/签名/任何东西都会很容易，因为我有一些使用XPath的经验谢谢我希望这能对你有所帮助
浏览 0提问于2013-09-15得票数 3
我正在抓取一个静态的html站点，并将其内容移动到一个数据库支持的CMS中。我想在CMS中使用Textile。有没有工具可以将HTML转换为Textile，这样我就可以抓取现有站点，将HTML转换为Textile，然后将数据插入数据库？
浏览 2提问于2008-10-06得票数 11
我使用WebClient.DownloadString是为了删除网页，不幸的是，DownloadString给了我没有CSS和JS更新的页面源代码(这是在页面加载时在internet explorer中制作的)。
浏览 27提问于2013-07-07得票数 1
回答已采纳
首先，我是一个新手，我想要一个从另一个网页中获取html字符串的代码，并在我自己的网页中使用它，让我用虚拟示例简要解释一下。<body></body><body>
<form id="Form1" action="https://test.com/"
浏览 2提问于2022-08-24得票数 -3
我想保存多个网页及其所有内容，这本身并不难，而且有多个工具来完成这项任务。它们是在客户端(通过javascript)呈现的，所以仅仅抓取服务器上html中的内容是没有用的。有些工具可以解决这个问题，他们抓取经过正确处理的html，在html中查找图片URL，然后尝试下载它们。
还有另一个问题，图片不能直接下载，只能作为网页内容下载。现在我被卡住了。我试着用C#制作我自己的工具来完成这个任务，看起来webBrowser + Sh
浏览 1提问于2017-06-23得票数 0
我用WinHttp抓取一个网页，结果得到的页面是站点的404文件未找到页面。我知道这个代码和我在其他网站上测试过的一样。所讨论的页面是一个普通的http协议和.html文件。
我能做什么?
浏览 0提问于2008-12-08得票数 1
2回答
我现在正在尝试使用来解析html页面，但我不擅长web方面的东西，我想知道是否有更简单的方法。
我不是在寻找一个最优的解决方案。
浏览 0提问于2014-08-20得票数 0
6回答
我想抓取和保存一些网页作为HTML。比方说，爬入数百个流行的网站，然后简单地保存它们的首页和“关于”页面。
我已经调查了很多问题，但从网络爬行或网络抓取问题中都找不到答案。我应该使用什么库或工具来构建解决方案？或者，有没有一些现有的工具可以处理这个问题？
浏览 5提问于2011-10-11得票数 2
回答已采纳
以前，我只是使用Google及其开发工具来复制/粘贴某个网站的HTML代码。我只是手动使用工具，右键单击最外层的HTML类，然后按下“复制OuterHTML”，然后将其粘贴到记事本文本文件中，然后开始工作。
但现在，我想让这个过程自动化。我想使用Selenium来获取HTML。我使用了以下方法，但它们并没有获得与使用Google Chrome Developer工具和鼠标手动复制html代码相同的结果(它们缺少一些内部HTML元素和其他东西)
浏览 3提问于2021-12-06得票数 0
1回答
任务是，给定一个站点url (比如 )来返回站点上所有可用提要的列表。方法可接受：在任何情况下，请提供一个简单的使用示例。
浏览 7提问于2010-05-05得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
