首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

收集数据太困难?这里为你准备了 71 个免费数据集

下面是 70 多个免费数据集,涉及到政府、犯罪、卫生、金融和经济数据、市场和社交媒体、新闻传媒、房地产、公司名录和评价等各个方面。...大家可以通过 API 访问上面的所有数据。...市场和社交媒体 32、Amazon API(https://docs.aws.amazon.com/apigateway/latest/developerguide/welcome.html):可以按分类浏览...你可以在这里找到最新市场统计数据和趋势。这里也为社交媒体营销、内容管理、网页分析、登陆页面和搜索引擎优化提供相关工具。...48、Google Scholar(https://scholar.google.com/):Google 推出面向学术资源免费搜索引擎,能够帮助用户查找包括期刊论文、学位论文、书籍、预印本、文摘和技术报告在内学术文献

2.7K60
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    开源情报收集:技术、自动化和可视化

    Full Contact 营销数据库和 API 是一个很好起点。它可以根据名称和域提供有关组织基本信息。Full Contact 跟踪“关键人物”(例如高管)、社交媒体资料、员工人数大致等。...顾名思义,Email Hunter API 也可用于查找电子邮件地址。它旨在供销售人员查找潜在客户联系人和销售线索,但任何人都可以使用它并收集电子邮件地址。...社交媒体资料 在情报收集过程这一点上,放松社交媒体通常是一个很好计划。争吵可能是数十或数百个社交媒体资料对于早期侦察来说有点多。...此外,Email Hunter 将返回 LinkedIn 个人资料链接,如果它知道的话,应该是预先验证。 Twitter 句柄也可以成为重要情报来源,Twitter API 可以帮助验证配置文件。...假设这会返回少数合法账户,一些基本链接分析可能会在以后揭示更多账户。 社交媒体注意事项 社交媒体最好留到以后一个原因是它需要一些思考和仔细分析。

    2.2K10

    网络侦察概述及工具介绍(一)

    这些公开渠道包括互联网、社交媒体、新闻、公共数据库、论坛、博客和其他在线资源。...社交工程 通过欺骗、操纵和利用人们心理、社会工作方式和人际关系来获取机密信息、获得未经授权访问权限或实施其他恶意行为。 三....它提供了丰富功能和多种数据源,使用户能够从公开和私有来源中获取有关IP地址、域名、子域名、邮箱、社交媒体和网络设备等信息,使用web方式提供服务。 图2....功能 通过Google搜索,可以获取目标组织、网站或个人信息,包括网站域名、IP地址、电子邮件地址、社交媒体账号等。可以发现公开已知漏洞,以及检索漏洞利用工具。...配合GHDB(Google Hacking Database),能快速发现互联网中存活有脆弱性服务。搜索目标组织或网站相关联其他网站、子域名和关联资源,帮助确认域名所有权。

    1K20

    盘点:14款顶级开源情报工具合集

    发现组织相关信息 一些OSINT工具执行第二个功能是在组织外部(例如在社交媒体帖子中或在可能位于严格定义网络之外域和位置)寻找相关信息。...那些进行了大量收购并获得了他们要合并公司 IT 资产组织会发现此功能非常有用。鉴于社交媒体急剧增长和流行,在公司范围之外寻找敏感信息可能对任何群体都有帮助。...Maltego Maltego通过使用开源情报技术查询诸如DNS记录、whois记录、搜索引擎、社交网络、各种在线API和元数据提取之类源,来找到这些信息之间链接。...Babel StreetBabel X是一款用于公共互联网(包括博客、社交媒体、留言板和新闻网站)多语言搜索工具。...客户还使用Babel X在非英语留言板上查找可疑攻击者用户句柄。 Babel X主要产品是基于云,允许客户通过添加自己数据源进行搜索来定制它。

    3.6K10

    用JAVA测量DEA页面的社交媒体流行度

    该代码实现了数据包络分析算法,使用lp_solve库来解决线性规划问题,并使用来自网站SEO分析索引提取数据,以便基于Facebook,Google+和Twitter上份额构建网页综合社交媒体流行度度量标准...为此,我们使用以txt格式提供网站SEO分析索引小型匿名样本。您可以通过从网站上更多页面提取社交媒体数量来构建自己数据库。...loadFile()类函数用于加载DEA统计信息,getPopularity()类函数是一种易于使用方法,可以获取Facebook喜欢,Google+1和一个页面的转推数量,并评估其在社交媒体流行度...,通过使用来自社交媒体数据来评估页面的流行度,例如Facebook喜欢,Google + 1和Tweets。...您可以通过估计来自网站更多页面的社交媒体数量来创建自己数据库。 3.添加更多社交媒体网络 该实现使用Facebook喜欢,Google+1和推文数量来评估文章受欢迎程度。

    1.3K80

    Google+漏洞击中服务,以至于被关闭

    10月8日,Google发布了有关Google+社交网络服务漏洞信息。据该公司称,目前还无法确认有多少用户受到影响,或者未经授权用户是否真的访问过任何数据。...“当我们做一项调查,询问负责API安全公司时,很多人都耸耸肩说他们不确定。” 关于API安全性组织不确定性问题越来越严重。“我们将会看到更多这些东西。...Zuffoletti说,随着脆弱表面区域增加,个人和组织应该更加关注安全对社交网络影响。...“如果我是社交媒体个人用户,它会让我对所有社交网络都很认真,如果我是使用社交媒体营销人员,我必须问我工作是否安全以及我是否采取了正确措施,“他说。...“我一直关注着爱尔兰,”Essaid说道,他解释说,这个欧洲国家一直在积极寻求对社交网络公司监管行动。在GDPR新时代,许多组织也在观望Google是否提供了新法规第一个主要测试案例。

    36530

    用JAVADEA算法衡量社交媒体页面的流行度

    ,以构建基于Facebook,Google Plus和推特上分享一个混合社交媒体页面流行度矩阵。...为此,我们使用来自以txt格式提供Web SEO分析索引小型匿名样本。您可以通过从网页上更多页面提取社交媒体计数来构建自己数据库。...(社交媒体计数,比如点赞数、转发数、评论数) loadFile()方法用于加载DEA上述统计信息,getPopularity()方法是一种易于使用方法,可以获取Facebooklike,Google...,通过使用来自社交媒体数据来评估页面的流行度,例如Facebooklike,Google+1和Tweets。...您可以通过统计来自网络上更多页面的社交媒体计数来创建自己数据库。 3.添加更多社交媒体网络 该实现使用Facebook喜欢,Google+1和推文数量来评估文章受欢迎程度。

    1.7K60

    假期还要卷,24个免费数据集送给你

    /BuzzFeedNews/nics-firearm-background-checks) NASA NASA 是一个公共资助政府组织,因此其所有数据都是公开。.../bigquery/public-data/usa-names) Github Activity-包含280多万个公共Github存储库上所有公共活动(https://cloud.google.com...Twitter 推特有一个很好媒体 API,使得过滤和流媒体推文相对简单。有很多有趣数据可以探索——可以找出哪些州最快乐,哪些国家使用最复杂语言等等。...❝https://www.wunderground.com/weather/api/ Global Health Observatory 世界卫生组织(WHO)在全球卫生观察站(GHO)维护着一个关于全球卫生大型数据集...我们可以从美国政治、新闻和媒体、互联网和技术、科学和社会、宗教和公共生活等方面的数据集中进行选择。

    1.2K40

    GitHub中公开敏感数据

    研究人员发现,组织公共GitHub帐户使用以及DevOps泄漏敏感信息可能性很高,因此数据丢失或持续破坏事件风险增加。...但是,通过正确实施DevSecOps和使用GitHub Event API扫描程序,组织可以大大降低公开暴露危害性信息风险。...主要发现 第42单元研究人员通过GitHubs Event API分析了超过24,000个公共GitHub数据上传,发现了数千个包含潜在敏感信息文件,其中包括: GitHub事件API GitHub...环境 计数 Google Cloud API金钥 1998年 Google OAuth令牌 1098 杂项– API_KEY 358 SonarQube Docs API密钥 84 MailGun API...此外,组织应使用GitHub Event API扫描程序来帮助防止通过GitHub代码出版物公开敏感内部信息。

    1.7K20

    在线检测你密码是否被泄露

    ---- 1、Google密码管理器 登录Google账号,访问如下链接进行密码安全检查,即可知道你保存在 Google 帐号中密码是否安全,了解这些密码是否已外泄、安全系数如何以及您是否重复使用了某些密码...5、Aleph 用于研究报告研究材料全球档案馆,通过搜索名字、手机号码、邮箱等查找公共记录和泄露情况。 在线检测地址:http://aleph.occrp.org/ ?...6、dehashed 你信息泄露了吗?提供免费深层网络扫描和密码泄露保护,可通过电子邮件、用户名、IP地址等搜索,支持正则表达式。...9、checkusernames 在160个社交媒体中检查用户名使用情况。 在线检测地址:http://checkusernames.com/ ?...10、KnowEm 在500多个流行和新兴社交媒体上检查你用户名是有有注册。 在线检测地址:https://knowem.com/ ?

    4.1K30

    清新优雅、功能强大后台管理模板 | 开源日报 No.238

    可选择添加 porn、社交媒体和其他类别的扩展。...整合多个知名 hosts 文件 去除重复条目 提供各种定制化 hosts 文件变体 可选性地包含 porn、社交媒体等分类扩展 ArchiveBox/ArchiveBoxhttps://github.com...耐久性长期格式如 HTML、JSON、PDF 等 可作为一次性 CLI 使用,也可以作为自托管 Web UI、Python API(BETA)、REST API(ALPHA)或桌面应用程序(ALPHA)...该项目的主要功能、关键特性、核心优势包括: 通过单个命令激活完全配置好开发环境。 在任何基础设施上设置开发环境,无论是本地、远程、云端、物理服务器还是虚拟机,支持 x86 或 ARM 架构。...提供概览小部件,显示打开应用程序,支持搜索/计算/运行 集成 AI 助手:ChatGPT 和 Google Gemini 根据壁纸自动生成 Material 颜色主题 大量动画效果 支持 Arch(-

    24010

    疫情中数据作用无法忽视,但也不能盲信模型 | 专访前DHS生物监管总监

    Steve Bennett说道,美国国土安全部曾研发出一个试用方法,即通过机器学习来挖掘出社交媒体数据中指出异于常规流感症状,反复研究实时物流和急救车调用数据,利用机器学习查找某些病患送往医院异常信息...社交媒体充当关键节点,数据能成为救人工具 在Steve Bennett提到美国国土安全部试用方法中,社交媒体也可能充当着疫情检测关键节点。...正如这次新冠疫情中,社交媒体数据可以与其他哨点监测数据、传统公共卫生数据资源相结合,深入挖掘并识别出诱因和错误信息。 在如何高效利用社交媒体数据上,就需要AI登场了。...比如,自然语言处理(NLP)能进行信息筛选,辨识来源于非传统公共卫生资源数据,其中或许就包括可能威胁公共卫生潜在因素和预兆。算法则能帮助从自然语言甚至是未经组织语言中自主辨识关键词和短语。...沟通方式多样,使得公共卫生预防信息得到了更高效传播,虽然也不可避免地带来了一些谣言,但在技术之下也都被逐一侦破。 ? Steve Bennett认为,社交媒体在本次疫情中表现值得称赞。

    69520

    你现在需要知道一切

    私有云要求组织构建和维护自己底层云计算基础设施,只有私有云内部用户才能将其视为云计算服务。 (6)混合云 混合云是私有云与公共集成。...(7)公共API(应用程序编程接口) 正如SaaS通过互联网向用户提供应用程序一样,公共API为开发人员提供了可以通过编程方式访问应用程序功能。...例如,在构建Web应用程序时,开发人员通常会使用Google MapsAPI来提供导航路线。为了与社交媒体集成,开发人员可以调用由Twitter、Facebook或LinkedIn维护API。...Twilio已经建立了一个成功企业,致力于通过公共API提供电话和消息服务。最终,任何企业都可以配置自己公共API,以使客户能够使用数据或访问应用程序功能。...IDaaS提供商维护基于云计算用户配置文件,用于对用户进行身份验证,并根据安全策略,用户组和个人权限启用对资源或应用程序访问。

    97130

    国内外顶尖高校联合发布首个「新冠NLP数据集」METS-CoV|NeurIPS 2022

    进一步地,通过社交媒体平台(如Twitter)跟踪和分析人们观点,可以推动医学研究发展及公共卫生管理政策指定,因此具有极大研究价值。...换言之,目前NLP工具之所以在新冠相关社交媒体文本上表现不佳,其根本原因在于缺乏从医学角度设计和标注新冠相关社交媒体文本数据集。...尽管目前已有不少面向通用领域或者特定领域如新闻、电商NER和TSA数据集,但面向医疗领域社交媒体文本数据集仍然空缺,这也加大了在社交媒体文本上进行细粒度分析并开展新冠相关研究难度。...数据集描述 数据收集与标注 研究者收集了从2020年2月1日到2021年9月30日期间用户发表新冠推文,所有推文均通过Twitter官方API获取,严格遵守平台数据安全政策。...所有标注工作均通过YEDDA标注平台(https://github.com/jiesutd/YEDDA)完成,所有的标注者都具有医学教育背景,如医学、公共卫生和制药科学等。

    46720

    如何选择合适NoSQL数据库

    该平台由MongoDB Inc.维护,并在Gnu Affero通用公共许可证和Apache许可证共同下发布。 MongoDB Atlas结合了公司从各种规模组织优化数千个部署中学到运营最佳实践。...它根据工作负载吞吐量和存储要求自动分割服务器上数据,并处理更大高性能用例。 用户可以通过应用程序编程接口(API)和Amazon Web Services管理控制台来扩展,监视和管理其表。...该平台同时支持键值和文档模型,还具有用于地理空间索引库。组织使用DynamoDB来支持各种用例,包括广告活动,社交媒体应用程序,跟踪游戏信息,收集和分析传感器和日志数据以及电子商务。...组织使用Couchbase来支持社交和移动应用程序,内容和元数据存储,电子商务交易和在线游戏应用程序。...Redis支持各种用例,包括实时分析,事务,数据提取,社交媒体,作业管理,消息队列和缓存。

    2.7K20

    如何在Ubuntu 16.04上使用Alerta监视Zabbix警报

    第一步 - 安装AlertaAPI服务器 Alerta由服务器和Web界面组成。Alerta服务器负责存储和处理警报,并通过API提供JSON。...警告:如果您从命令中省略GitHub组织选项,则任何GitHub用户都可以登录您Alerta仪表板。创建GitHub组织并将适当用户添加到组织以限制访问。...首先,安装命令行客户端: sudo pip install alerta 然后创建一个配置文件,该文件定义您之前配置Alerta API端点以及您要使用API密钥。...单击“ 添加”按钮以创建新媒体类型。 然后为您用户帐户添加新媒体。在主菜单中选择“ 管理 ”,然后选择“ 用户”。单击您用户名,然后选择“ 媒体”选项卡。...http://your_alerta_server_ip/api;your_api_key 使用您在步骤4中创建API密钥。 单击“ 添加”按钮保存新媒体类型。

    4.1K40

    2021年互动媒体与服务行业发展研究报告

    互动媒体.png 第一章 行业概况 互动媒体(Interactive Media)是在现代通信技术不断发展媒体环境下,通过融合影视艺术、数字媒体艺术、游戏、电子竞技、移动互联网、新媒体运营、人机交互...社会价值凸显,成为社会治理重要补充 随着媒体传播效率不断提升和覆盖人群范围不断扩张,依托互联网发声成为普通民众参与社会公共话题讨论重 要路径,互动媒体已经发展成为社会治理重要组成和补充,在修复社会监督链条中发挥独特价值...在这一背景下,互动媒体一方面需要加强信息交互性与时效性,构建良好对话传播场景,搭建群众和政 府之间桥梁;另一方面更需要做好舆论监督工作,防止谣言通过社交网络危害社会安定团结。 2....在人和人关系方面,不断创新互动模式,调动用户积极性,强化社交链条,提高用户迁移成本;在人和内容关系方面,通过扩展内容垂类建立不同兴趣圈层,吸引用户主动聚集,信息既能在圈层内高效传播,也能通过社交媒体内容分发弱连接实现破圈...通过不断丰富社交媒体平台上用户节点和关系链条,进而建立最高效裂变传播和最牢固社交护城河。 3.

    68130

    Star 5.5k!这款Web剪藏工具绝了,支持10+平台内容剪辑同步!

    前言 Web Clipper 是一个开源项目,旨在帮助用户轻松地保存和组织网页内容。...此外,Web Clipper还支持将保存内容分享给其他用户,或者通过链接方式分享到社交媒体上。 主要功能: 1. 保存网页:用户可以保存整个网页或者选取其中部分内容保存。 2....添加标签和注释:用户可以为保存内容添加标签和注释,方便后续查找和理解。 3. 分类管理:用户可以将保存内容进行分类管理,便于整理和浏览。 4....分享功能:用户可以将保存内容分享给其他用户,或者通过链接分享到社交媒体上。 安装使用 用户可以在浏览器插件商店中搜索Web Clipper,并安装到自己浏览器中。...,这里我选择“智能提取”,以下是剪藏效果 总结 Web Clipper 是一个方便实用工具,可以帮助用户轻松地保存和组织网页内容。

    59110
    领券