mysql能做爬虫数据库吗
MySQL是一种常见的关系型数据库管理系统，它主要用于存储、管理和查询结构化数据。虽然MySQL并不是专门用于爬虫的数据库，但它确实可以用于存储爬虫数据。
爬虫是一种自动化的网络数据抓取技术，它可以从互联网上获取信息并将其存储到数据库中。MySQL提供了适用于爬虫的功能和特性，可以满足爬虫对数据存储和查询的需求。
优势：
- 稳定性和可靠性：MySQL是一种成熟稳定的数据库系统，广泛应用于各种互联网应用中，具有高度可靠性和稳定性。
- 扩展性：MySQL可以轻松处理大量的数据和高并发访问，适用于爬虫需要处理大量数据的场景。
- 强大的查询功能：MySQL具有强大的查询语言和索引机制，可以对爬虫数据进行灵活的查询和分析。
- 社区支持：MySQL有庞大的开源社区支持，可以获取各种问题的解决方案和技术支持。
应用场景：
- 网络数据抓取：爬虫可以将抓取的数据存储到MySQL数据库中，方便后续的数据处理和分析。
- 数据挖掘和分析：MySQL提供了强大的查询和分析功能，可以对爬虫数据进行深度挖掘和分析，从中发现有价值的信息。
- 实时数据展示：通过MySQL存储的爬虫数据，可以实时展示在网页或应用程序中，方便用户实时查看最新数据。
推荐的腾讯云相关产品： 腾讯云提供了丰富的云计算产品和服务，以下是其中几个与MySQL相关的产品：
- 云数据库 MySQL：提供稳定可靠的MySQL数据库服务，支持高可用和自动备份等功能。详情请参考：https://cloud.tencent.com/product/cdb
- 弹性MapReduce：提供了大数据处理和分析的能力，可以与MySQL进行结合，实现复杂的数据挖掘和分析任务。详情请参考：https://cloud.tencent.com/product/emr
以上是关于MySQL作为爬虫数据库的概念、分类、优势、应用场景和腾讯云相关产品的介绍。希望对您有帮助！
相关·内容
我有一个码头-撰写文件如下所示，它有2个容器。一个是Python，另一个是MySQL爬虫应用程序，它可以读取/写入数据库。当我做docker-compose up时，我看到：
数据库容器构建，然后构建应用程序容器，然后运行app容器上的CMD (例如启动爬虫)，然后根据停靠-组合文件中的环境变量在DB容器中初始化数据库。<code>g 210</code>
我的问题是，为什么在DB容器中创建数据库之前，我的爬虫脚本还在运行？如何确保在运行爬虫脚本之前已经创建了数据库？
version: '3.7'
services:
db:
浏览 5提问于2020-02-05得票数 1
对于新的爬虫程序，我希望从外部MySQL数据库中提取数据，我可以使用主机、用户名和密码远程访问该数据库。在Glue中，我不得不配置数据存储。JDBC似乎很接近，但它需要VPC安全组和子网，而我没有，因为数据库是外部的(不在我使用的同一个AWS帐户中)。 有没有办法绕过这件事，或者我可能做错了什么？
浏览 68提问于2020-04-06得票数 0
我还在从AWS Glue开始，我正在尝试将它连接到我托管在RDS Aurora上的可公开访问的MySql数据库，以获取其数据。
因此，我首先创建一个爬虫，然后在数据存储中创建一个新连接，如下面的屏幕截图所示：
我检查了其余部分，并最终尝试运行爬虫程序，但得到以下错误：At least one security group must open all ingress ports.To limit traffic, the source security group in your inbound rule can be restricted to the same security gro
浏览 4提问于2018-07-17得票数 9
回答已采纳
客户计划使用Glue爬虫排除oracle模式或oracle表？
Glue爬虫不支持Oracle和MySQL数据库的/数据库/模式/表，我尝试了许多不同的模式来排除oracle模式或oracle表，但结果并不是预测的。
如何设计Oracle数据库或MySQL数据库的排除模式？
包括-模式:测试/%
测试是oracle服务的名称。
我添加了以下模式以排除模式APEX_030200和WWV凝视表：
APEX_030200.WWV*
APEX_030200*
test_apex_030200_wwv*
test.APEX_030200.WWV_*
test.APEX_030200.
浏览 10提问于2020-12-25得票数 1
我正在为Python Scrapy构建一个扩展，以获取爬虫相关的详细信息，如开始时间、结束时间、爬虫状态(打开、关闭或活动)。现在我需要在我的MySql数据库表中存储当前的时间戳。有人能帮我吗？我需要一个代码来连接MySql数据库从剪贴画代码，并做数据库相关的查询，如插入，选择等。谢谢..
浏览 3提问于2013-10-14得票数 0
1回答
我想从社区中听到一个很好的模式来解决下面的问题。
我有一个“无所不包”的服务器，它是were服务器，mysql，爬虫服务器。由于使用监视工具的两三周时间，我发现当我的爬虫运行时，我的平均负载总是超过5(一个4核心服务器，可以一直使用到4.00作为负载)。所以，我有另一台服务器，我想把我的爬虫移到那里。我的问题是。一旦我在我的爬虫服务器中爬行数据，我必须插入我的数据库。我不想打开远程连接并将其插入数据库中，因为我更喜欢使用Rails框架，顺便说一句，我使用rails，以便更容易地创建所有关系，等等。
有待解决的问题：
服务器，有爬行的数据(一堆csv文件)，我希望将它移动到远程服务器，并使用ra
浏览 2提问于2011-05-01得票数 0
1回答
我有两个mysql数据库，每个都在它们自己的ec2实例上。每个数据库在模式“product”下都有一个表“report”。我使用爬虫将表模式放入名为db1的数据库中的aws glue data目录中。然后，我使用aws glue将表从ec2实例复制到s3存储桶中。然后我使用redshift来查询表。我在查询编辑器中使用下面的脚本从aws爬虫获取外部模式到redshift。我想将这两个表合并到一个表中，并添加一个‘source’列和一个标志来指示每个记录所来自的原始表。有没有人知道在etl过程中使用aws glue是否可能做到这一点？或者你能提出另一种解决方案吗？我知道我可以将它们与redsh
浏览 30提问于2019-06-20得票数 0
我正在开发一个网络爬虫，它对存储数据有好处吗？我在我的MySQL数据库中有1TB的过去6个月的数据，我需要索引它们，我需要尽快在我的搜索中输出数据，我认为，它将存储更多的数据，比如10Peta Byes，因为我的爬虫运行得很快，我需要快速获得读/写操作，我需要将其集成到我的PHP中
浏览 0提问于2010-08-18得票数 3
回答已采纳
3回答
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
有谁知道可以帮助我的开源脚本吗？此外，如果有人能给我一些关于我应该做什么的建议，那么他们将非常受欢迎。
浏览 4提问于2011-08-11得票数 6
回答已采纳
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
我对此很陌生，对大多数人来说，这可能很容易，但我已经为此挣扎了好几天。
我正在使用perl编写一个web爬虫，web爬虫将使用LWP和一些简单的正则表达式提取某些信息。
这些信息保存在mySQL数据库中，该数据库将在安卓设备上使用。然而，当我测试网页爬虫时，我意识到有些信息是用HTML数字编码(&# 20856；&# 33775 ;)用中文(典華)，而有些信息是使用iso-8859-1编码(Zhífú)。我使用PERL：：Entities库解决了中文部分，当我将控制台设置为utf8时可以显示该库。然而，其他字母(Zhífú)只能显示在iso-8859-1中。如果我试图在utf8
浏览 4提问于2011-09-09得票数 3
回答已采纳
2回答
我只是MySQL的初学者，我需要知道在MySQL中可以存储多少数据。我正在开发一个网络爬虫，我可以将所有的数据存储在MySQL中吗，或者我需要使用另一个数据库？哪个更快？我的意思是，哪一个具有最高的写作/阅读速度？是否需要重新配置才能添加更多数据？
浏览 0提问于2010-08-06得票数 9
回答已采纳
我最近开始重新设计一个PHP-mysql项目，这个项目是大约7年前创建的。我只有php和html代码，没有mysql数据库或任何显示数据库结构的文档。
有什么工具可以帮助我使用php文件提取我的数据库表吗？在php文件中，我有插入查询和选择查询以及更新。
我想到了一个工具(这样的爬虫)，它将我的php文件作为输入，并创建一些sql创建表查询作为输出。
浏览 9提问于2022-06-04得票数 2
回答已采纳
1回答
我是搜索引擎新手，我发现googlenews非常有趣。
我想写一个简单的爬虫
只解析三个不同新闻网站的文章链接。
将链接保存在数据库(mysql)中，并使用链接在网站上公布的时间戳(而不是爬虫检测到链接的时间)。
如您所知，新闻网站每天都会生成链接(我想基本上解析它们的所有链接(不仅仅是今天打印的链接，还包括生成before...and的所有链接--所有这些链接都保存在新闻网站数据库中)。
我不知道我想爬的新闻网站使用的是哪个数据库，我也没有访问它的权限。
那么googlenews如何能够解析所有新闻网站的所有文章链接，包括很久以前生成的链接呢？googlenews可以访问
浏览 4提问于2014-06-06得票数 3
回答已采纳
我写了一个爬虫，它在mysql中保存了大量的记录。
偶尔会有一些自动增量is丢失，并且有1到200个is的缺口。我没有从数据库中删除任何东西，因此我有点惊讶。
有人知道为什么会发生这种事吗？
浏览 3提问于2014-08-10得票数 0
回答已采纳
我有一个在MySQL数据库中存储varchar(255)的URL列。此列具有唯一索引。
当我的爬虫程序遇到URL时，它必须检查数据库以查看该URL是否已经存在。如果该条目存在，crawler将选择有关该条目的数据。如果该url不存在，则crawler将添加该url。我目前使用下面的代码来做这件事：
$sql = "SELECT id, junk
FROM files
WHERE url = '$url'";
$results = $this->mysqli->query( $sql );
// the file al
浏览 1提问于2011-12-07得票数 0
1回答
我的任务是创建一个“海量爬虫”，它完全依赖于数据库中的代理。以下是我试图实现的目标的一个简单概述：
1 x CronJob引导文件-这个文件发送50个并行curl请求到单个爬虫文件。
1x单个的Crawler文件-这应该是从数据库中获取一个唯一的行(代理)，而另一个进程还没有选择。
我已经看过TRANSACTIONS和mySQL，但我仍然认为这样做不会有帮助，因为查询将在每个单独的爬虫进程完全相同的时间执行。
以下是我在脑海中对个人爬虫文件的想法：
$db = new MysqliDb("localhost", "username", "
浏览 1提问于2015-02-03得票数 1
回答已采纳
我有一个现有的AWS胶水爬行器，它的胶水连接器连接到一个成功运行的MySQL数据库。我需要将它移动到胶合v3，以便它使用更新的MySQL JDBC驱动程序(Glue 2.0作业使用MySQL JDBCDriverVersion5.1，而AWS 3.0使用MySQL JDBC驱动程序8.0.23)。爬虫是用boto3 3的glue_client.update_crawler创建/更新的。爬行器设置为使用JDBC胶水连接器，该连接器也是用boto3创建的，并且没有glue_version参数。
关于boto3 3的胶水客户端爬虫函数的文档不包括GlueVersion选项。我在控制台中也没有看到任何
浏览 8提问于2022-12-02得票数 1
1回答
简单地说，我的网络爬虫有两个主要的工作。收集器和Crawler，收集器将收集每个站点的所有url项，并存储非重复的url。爬虫将从存储中获取urls，提取所需的数据并将其存储起来。
2台机器
Bot机器-> 8内核，物理Linux (这台机器上没有VM )
带有群集的存储机-> mySql (VM用于集群)，2个数据库(url和data)；端口1和数据端口2上的url数据库
目的:抓取100个站点，尽量减少瓶颈情况。
第一种情况:收集器*请求(Urllib)所有站点，收集每个站点的url项，如果它不是重复的url，则插入端口1上的存储机器。爬虫*从存储端口
浏览 2提问于2013-07-11得票数 0
我正在尝试编写一个网络爬虫程序，但现在我想知道:存储所有urls的最佳方法是什么，这样爬虫就可以一起工作，但不会干扰。
示例：
爬虫1找到一个包含100个URL的页面。
爬虫2找到一个没有任何URL的页面。
爬虫1和2共享爬虫1发现的100个URL
我的想法(两种不同的方法)
让Crawler扫描页面寻找新的URL
将所有已找到的URL保存在由所有Queue实例共享的PriorityQueue( Crawler )中
一旦Queue变得太大(例如，最大大小的80% )，就将URL外包给数据库
让Crawler保存Analyzer，并在之后
浏览 5提问于2011-12-28得票数 0
回答已采纳
2回答
我有一个网站，这是相当好，但与非常少的信息。所以我想添加一些信息，比如关于特定领域的新闻(比如政治、好莱坞等)。我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。
其次，我正在做过去两天的研究，但我找不到一个特定的来源能够做到这一点。现在我希望爬虫找到信息，规范化并存储在mysql数据库中。听起来很简单哈。但这不适合我。
因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。我也希望定制它，所以任何工具，这是开源的，很好地被定制将是伟大的。
任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜
浏览 0提问于2010-11-11得票数 0
我有一个应用程序，分为两个主要部分：
用Python编写的网络爬虫
用Golang编写的REST
他们共享一个MySQL数据库，该数据库主要由web爬虫填充/更新，然后通过REST读取。
我想在双方都使用ORM，以使与数据库的交互更容易，但现在我不确定这是否是一种好方法。
在Python方面，我考虑使用小淘气，而对于Golang，我将使用戈姆。
维护两组ORM模型文件似乎不是个好主意，每当我想要更改数据库的某些属性时，都必须更改每组文件。此外，我担心两个or在争夺数据库的结构时，可能会出现冲突，或者模型可能与实际的db结构不同步。
在这种情况下，使用ORM会带来比其价值更大的麻烦吗？或者我应该
浏览 0提问于2015-10-13得票数 2
1回答
我刚刚开始尝试AWS glue，我已经能够成功地将数据从我的Aurora MySQL环境拉到我的PostgreSQL DB中。当爬虫程序为我正在试验的表创建数据目录时，所有列的顺序都打乱了，然后当作业创建目标表时，列再次打乱了顺序，我认为这是因为它是根据爬虫程序生成的内容创建的。如何使目录中的表结构与源数据库中的表结构相匹配？
浏览 0提问于2018-07-27得票数 2
3回答
可能重复：
我正在尝试用于网站的PHP爬虫。
我一步一步地完成了每一件事，并为MySQL创建了用户和数据库。然后也与用户连接到数据库，但它显示了一个错误。
Warning: mysql_connect() [function.mysql-connect]: Access denied for user 'switsolu_kll'@'localhost' (using password: YES) in /home/switsolu/public_html/crawler/_db.php on line 43
Cannot connect to dat
浏览 2提问于2012-07-15得票数 0
我想使用一个网络爬虫和抓取一个特定的网站。该网站是一个学习管理系统，许多学生在这里上传他们的作业，项目演示文稿等。我的问题是，我可以使用网络爬虫下载已经上传到学习管理系统中的文件吗？下载它们之后，我想为它们创建一个索引，以便查询文档集。用户可以使用我的应用程序作为搜索引擎。爬虫能做到这点吗？我知道webeater (用Java编写的Crawler )
浏览 1提问于2011-03-30得票数 1
回答已采纳
2回答
饼干爬虫的主意？
、、、、
我是一个寻找PHP/javascript/等爬虫(bot)谁将检查给定的网站集，(这是重要的部分)检查哪些cookie，网站设置到用户的浏览器！
我甚至不知道是否可以这样做，因为我知道爬虫可以检查网站的内容，甚至当用户访问网站时，爬虫也可以存储cookie，但他真的可以从网站上读取cookie吗？
所以我的问题是:从定义上说，这不是不可能的吗？这样的事能做吗？基本上，检查网站设置到用户浏览器中的cookie，例如，将它们存储在变量中。
浏览 1提问于2014-01-26得票数 1
回答已采纳
1回答
我已经创建了一个进程，将数据从我的MySQL数据库导出到AWS，然后再导出到AWS。因此，我能够创建一个爬虫，并通过AWS Glue Studio修改数据。
现在，我想将数据写回我的MySQL数据库。MySQL数据库位于VPC网络中。但是，在阅读了教程和文档之后，从10多个小时开始，我就很难将MySQL数据库连接到AWS。
我所做的：
跟随
跟随
self-security-group 创建一个安全组，分配给与其关联的 ID : All TCP，目的：
将新的安全组分配给我的RDS实例
向S3添加了一个VPC端点
使用以下权限创建了一个新的IAM角色：
AWSGlueServiceRole A
浏览 5提问于2022-01-11得票数 2
我想用scrapy编写一个爬虫，在我写完爬虫文件，项目文件，管道文件等后，我想将数据保存到数据库中，但我发现项目‘’url‘的数据类型实际上是字符串类型，字符串包含列表，我无法获得里面的数据，我找不到问题所在。
import pymysql
from . import settings
class JumiaspiderPipeline(object):
def __init__(self):
self.conn=pymysql.connect(
host=settings.MYSQL_HOST,
db=settings.MYSQL_DBNAME,
浏览 22提问于2018-09-05得票数 0
回答已采纳
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。我使用了Ubuntu服务器。因为我使用了Linux命令
$ nohup python crawer.py &
这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。而且效果很好！有什么问题吗？这是关于网页的块吗？或者nohup命令有限制时间？非常感谢。
浏览 1提问于2014-05-20得票数 0
回答已采纳
1回答
有人建议我们使用mysql进行站点搜索，因为它将运行在承载web服务器(nginx)和db (mysql)的同一台服务器上。
因为并不是所有的页面都是从数据库中创建的，所以有人建议我们有一个爬虫，可以抓取站点，并将页面url和数据丢到mysql中，并在上面有sphinx索引。
有没有人知道开放源码蜘蛛，它有一个mysql存储选项。
谢谢。
浏览 0提问于2010-02-22得票数 4
回答已采纳
1回答
我有一些使用PHP的网页爬虫，它可以抓取网页并在数据库中存储有关页面的信息，现在的问题是，加载页面需要很长的时间，而且在每次请求之间，我的脚本会休眠多达5秒，同时，到MySQL服务器的连接仍然是开放的，最后我会有太多睡眠的MySQL进程。
我在想，因为我的脚本的每一个实例都存在大约20秒，并且不超过3-4个MySQL查询，所以最好是关闭到MySQL的连接，然后用每个查询重新打开它。我想，在浪费时间编辑代码之前，我可以在这个问题上征求您的意见，我有什么意义吗？
浏览 0提问于2016-11-21得票数 0
我有一个应用程序，包括一个爬虫和一个MySQL数据库。我想通过VPN时，我做我的爬虫，但然后不使用VPN时，我连接到我的DB。我设法让我的应用程序容器通过我的VPN容器发送所有流量，但现在我无法连接位于本地主机的DB。我尝试过使用主机地址localhost、127.0.0.1和db的容器名，但它们都不起作用。
我如何通过我的VPN容器路由一些流量，和一些流量只是正常的？
这是我的对接者撰写文件：
version: '3.7'
services:
db:
image: mysql:8
restart: always
en
浏览 0提问于2020-02-06得票数 1
我有一个MySQL表(tbl_test)，包含4列-- id、url、title & description。表中有39409行。我想把这个表索引到Opensearchserver v1.5.3中，我用'web爬虫‘模板创建了一个新的索引，我的数据库爬虫设置如下：
General settings
名称： test_crawl
驱动程序类： com.mysql.jdbc.Driver
JDBC url: jdbc:mysql://localhost/test_db
隔离级别： TRANSACTION_READ_COMMITTED
用户：根
密码：···
语言：英语
缓冲区大小：
浏览 3提问于2014-06-09得票数 0
回答已采纳
1回答
工作在风暴爬虫1.12.1和弹性搜索6.5.2。我需要提高我的搜索引擎的效率。为了安全起见，我在对文档进行弹性搜索之后删除了一些文档。那么，我的问题是，风暴爬虫会重新抓取删除的urls和重新索引吗？我不想重新抓取被删除的记录，我怎么能做到这一点？
浏览 0提问于2019-01-07得票数 0
回答已采纳
5回答
使MySQL表唯一
、、、
嘿，我创建了一个爬虫来爬行PDF文档，并将文档中的每个单词记录到MySQL数据库的表中。
显然，'the'，'and'，'or‘等词在一本书中出现了很多很多次。
我想知道从表中删除重复值最快的方法是什么？
浏览 0提问于2009-09-30得票数 0
回答已采纳
1回答
从外部爬虫获取数据到我的数据库的最好方法是什么，到我的网站我在LAMP环境中工作，web服务是个好主意吗？爬虫每15分钟运行一次。
浏览 2提问于2009-06-15得票数 0
回答已采纳
我正在使用AWS将数据从MySQL RDS迁移到S3，并使用拼花格式。之后，我将运行一个胶水爬虫，创建一个数据库和一个表。一切都很顺利，但是时间戳。
例如，在AWS雅典娜查询中，我得到的结果是：+51218-09-22 03:06:40.000，而实际值是2019-04-01-14.27.04 -0300。如你所见，日期是完全错误的。所有其他类型的迁移都很好。
有人有这个问题吗？
浏览 9提问于2019-11-14得票数 2
回答已采纳
1回答
我有一个Azure数据库，它仅限于60个并发连接。我的问题是，我有几个爬虫填充这个数据库，以供我们的网站使用实体框架。
很快，多个爬虫就会耗尽所有的连接和错误。我尝试在连接字符串中设置最大池大小值，但这似乎没有对实际的数据库连接强制执行任何限制。
我可以将DbContext封装在一个单例中，但这样我就会将整个爬虫限制在一个连接上。
还有其他方法来实现这一点吗？
浏览 2提问于2016-08-03得票数 5
回答已采纳
2回答
我有一个java脚本，它像爬虫一样工作，并将数据保存在MySql DB中。我想做的是建立一个移动应用程序(Andriod/ios)，这将连接到mysql数据库检索结果，并只是显示给用户。
实现这一目标的最佳方法是什么？我尝试使用Flex UI和PHP作为我的服务器客户端，但希望知道是否有更好的解决方案？
浏览 3提问于2014-02-23得票数 0
1回答
雅典娜表，有每个csv记录的历史
、、、、
我正在上传s3桶中的CSV文件，并通过胶水爬虫创建表，查看雅典娜中的表，在雅典娜和Quicksight之间建立连接，并在quicksight中以图形方式显示结果。但是现在我需要做的是保存上传文件的历史记录，而不是一个新的CSV文件上传和爬虫更新表，我可以让爬虫分别保存每条记录吗？还是说这是一件合理的事情？因为我想知道它会造成这么多的桌子，它会是一团糟吗？我只是想找个办法来保存以前的记录。我怎样才能做到这一点？
浏览 5提问于2022-11-15得票数 0
在我的web应用程序中，我有一个部分需要不断地抓取Web，处理这些数据并将其呈现给用户。所以我想知道将它分成两个独立的应用程序是不是一个好的方法，其中一个应用程序将进行爬行、数据处理并将数据存储在数据库中。而另一个应用程序将是web应用程序(安装在某个web服务器上)，它将向用户呈现来自数据库的数据，并允许他与数据进行特定的交互。
我认为我需要拆分的原因是，如果我对我的web应用程序进行了某些更改(如添加新功能、更改界面等)。我不希望爬行被打断。
我的应用程序栈是Tapestry (web层)、Spring、Hibernate (基于MySQL)和独立于其他爬虫的我自己的实现。
仅仅使用相同的
浏览 0提问于2011-04-17得票数 4
回答已采纳
我有2个Laravel项目运行在我的萨拉贡设置。单独地，它们看起来很好，但是如果我在不同的Chrome窗口中加载，那么它们将开始连接到相同的数据库。
让我们调用第一个克劳勒和第二个集线器。
DB_CONNECTION=mysql
DB_HOST=127.0.0.1
DB_PORT=3306
DB_DATABASE=blackcrawler
DB_USERNAME=root
DB_PASSWORD=
DB_CONNECTION=mysql
DB_HOST=127.0.0.1
DB_PORT=3306
DB_DATABASE=core
DB_USERNAME=root
DB_PASSWORD=
浏览 1提问于2022-03-22得票数 1
回答已采纳
我正在并行运行许多many爬虫实例。
每个爬虫从表中选择一个域，将url和启动时间插入到日志表中，然后开始对域进行爬行。
其他并行爬虫在选择自己的域之前检查日志表以查看哪些域已经被爬行。
我需要阻止其他爬虫选择刚刚被另一个爬虫选择但还没有日志条目的域。我对如何做到这一点的最佳猜测是，当一个爬虫选择一个域并在日志表中插入一行(两个查询)时，锁定来自所有其他读/写的数据库。
一个人是怎么做到的？恐怕这是非常复杂的，而且依赖于许多其他的东西。请帮我开始。
这段代码似乎是一个很好的解决方案(但是，请参阅下面的错误)：
INSERT INTO crawlLog (companyId, timeStar
浏览 10提问于2011-07-08得票数 38
回答已采纳
1回答
我有一个网络爬虫，它在抓取网络时将信息保存到数据库中。在执行此操作时，它还会将其操作及其遇到的任何错误的日志文件保存到mysql数据库的日志字段中(字段将变为64kb到100kb之间的任意位置。它通过连接(使用mysql CONCAT函数)来实现这一点。
这似乎工作得很好，但我担心它对mysql数据库的cpu使用率/影响。我已经注意到，web爬行的执行速度比我实现将日志保存到数据库之前要慢。
我从一个管理网页上查看了这个日志文件，除了加载速度慢之外，当前的实现似乎工作得很好。有没有什么加速的建议，或者实现的建议？
浏览 3提问于2012-07-18得票数 1
回答已采纳
我想知道从另一个python脚本运行爬虫的最好方法是什么。我的scrapy项目由4个不同的爬虫组成，它们都创建了帮助其他蜘蛛工作的文件，其中一些必须读取一些文件才能工作。这部分已经完成了，但是是单独的(独立于控制台运行爬行器)。 例如，我如何才能做这样的事情？ if (productToSearchIsBlue):
#Make one spider crawl
else:
#Make another spider crawl 我的最终计划是将完整的程序上传到云上，并让它自动运行，这能做到吗？ 我找到了这个问题的一些答案，但它们太老了，可能是另一个版本的scrapy。
浏览 8提问于2019-02-05得票数 0
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
我想用java写一个爬虫来做一些学校练习。实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。
然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。
我能做些什么来获得包含全部内容的HTML代码吗？
请求网址：
浏览 0提问于2019-09-12得票数 1
回答已采纳
1回答
我在Scrapy中有两个爬虫，它从网站上删除一些数据，然后最后存储在数据库(sqlite3)中。现在我想使用Django来管理。Django必须管理爬虫，即激活、停用、删除等。类似地，数据库中的数据将在Django的管理中列出。所有的爬虫都要从Django跑。到目前为止，我已经学习了如何在Django中使用自定义命令，但我还无法找到其余的部分。有人能帮我提个主意吗？我的代码是文档中的简单教程。我跟踪了这个链接
https://docs.djangoproject.com/en/1.6/intro/tutorial01/
有人能帮我提个主意吗？这会是很大的帮助。谢谢你！！
浏览 3提问于2014-02-04得票数 1
回答已采纳
我正在编写一个网络爬虫。所有链接都存储在MySQL数据库中。因为我将在多个节点上运行爬虫程序，所以我需要尽可能快地将URL设置为“正在爬行”，以保持高效。
我的网络爬虫是用C#编写的。现在，它下载URL和ID，然后将URL设置为使用ID爬行。问题是它需要两个不同的查询。有没有办法把它们结合在一起呢？
下面是我当前的代码：
string stm = "SELECT * FROM pages WHERE IsCrawled = 0 LIMIT 1;";
MySqlCommand cmd = new MySqlCommand(stm, conn);
cmd.ExecuteScalar
浏览 1提问于2014-03-02得票数 0
我在MySQL数据库中有一个表，其中包含一个名为activity的列，该列的数据类型为BIT。当转换为INT时，它可以接受值1、2或3。
在使用AWS中的爬虫时，它将activity识别为布尔值。我试图编辑表的模式，并将activity的数据类型更改为INT，但Glue在运行作业时仍然将其读取为布尔值。
我还尝试使用ApplyMapping将其转换为INT，但没有成功。
对如何解决这个问题有什么想法吗？
浏览 0提问于2018-10-25得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
