SQL 结构化查询语言(是一种标准,所有的关系型数据库Mysql,sqlserver,oracle)
Sphinx是一个开源搜索引擎，允许全文搜索。众所周知，它能非常有效地对大数据进行搜索。要编制索引的数据通常来自非常不同的来源：SQL数据库，纯文本文件，HTML文件，邮箱等。
Sphinx的使用背景：在mysql中优化的时候，对varchar,char,text对这些数据进行查询时，如果我们使用like ‘%单词’，是无法使用到索引，如果网站的数据量比较大，会拖垮网站的速度。
Mysql 的搜索，只能很简单的like '%无道%'，那显然是远远不够的。只能找第三方的服务。
前期准备 入坑了一天，折腾的无语，个人观点：【文档太差，适合学习思路，小心入坑】 背景 最近在整理全文检索解决方案 注意到 PHP 环境中对 xunsearch 的评价很高，在此记录一番 【Xunsearch 是一个高性能、全功能的全文检索解决方案】 场景描述 此处作为对 xunsearch 的初次使用， 以一个简单的商品 SKU 信息搜索场景进行描述 我已有一张 tp5_xsku表，用来存储商品 SKU 信息 主键为 "sku_id"，需要进行匹配的字段为："spec_name"
由于业务需要，需要做类似淘宝商城商品检索的功能，对于数据量很大的情况，MySQL 查询的效率损耗很大，需要使用专门的索引引擎进行搜索查询，实现功能，对于和 PHP 和 Mysql 的结合的索引引擎中， xunsearch 和 sphinx 是较为著名的，但由于 xunsearch 服务器端不支持 windows，所以暂且先考虑 sphinx 的使用。sphinx 目前已支持简体中文、繁体中文和英文的检索，不需要额外安装插件支持。
假设你现在运营着一个论坛，论坛数据已经超过100W，很多用户都反映论坛搜索的速度非常慢，那么这时你就可以考虑使用Sphinx了（当然其他的全文检索程序或方法也行）。
在安装csft的过程中出现了三种错误情况，错误情况如下错误记录，可以参考修改即可
全文检索是数据库的有力补充，全文检索并不能替代数据库在应用系统中的作用。当应用系统的数据以大量的文本信息为主时，採用全文检索技术能够极大的提升应用系统的价值。
不得不说 sphinx 很消耗内存占用，目前种子网站跑的机器是2G内存的，今天重新试了一下1G内存的vps，正常配置下依旧跑不动 查看 searchd.log 依旧被kill掉了。
众所周知，mysql等数据库的LIKE模糊搜索不支持索引，因此查询效率极低，需要结合第三方索引引擎程序(索引程序)来提高查询性能。
简介 下载类的网站应该是大家经常用到的工具了，特别是一些 BT，PT 一类的网站，最近几年比较火的小型站点一般都是磁力搜索类的，但很多网站鱼龙混杂，广告横生（网站挂广告无可厚非，但是时不时弹出令人尴尬的内容就有点儿嗯。。） 最近看到网友 wenguonideshou 制作并修改的源码，叫 ZSKY，虽然貌似没给正式的命名，但是从 demo 来看，应该是 “纸上烤鱼” 的缩写，这个源码实际上是改自另一款很出名的源码 SSBC（手撕包菜），但手撕包菜的使用说明网上一直只是流传着一些坊间的版本，作者似乎也没有
本文实例讲述了PHP+MySQL+sphinx+scws实现全文检索功能。分享给大家供大家参考，具体如下：
若要此文件生效，需要 1. 将其重命名为uni.lib 2. 将uni.lib放到配置文件中charset_dictpath指定的目录 3. 重建索引 4. 重启searchd
Sphinx 在2018年的搜索引擎中排名第五，但它仍然是一种强大且流行的技术，在排名方面让位于Elasticsearch和Solr。 Sphinx用于如此着名的系统中 Joomla.org， CouchSurfing.org， Wikimapia.org， Tumblr.com， 优酷土豆 以及数百种其他应用。
yum install gcc make gcc-c++ libtool autoconf automake imakemysql-devel libxml2-devel expat-devel
Why/为什么使用Sphinx？ 遇到一个类似这样的需求：用户可以通过文章标题和文章搜索到一片文章的内容，而文章的标题和文章的内容分别保存在不同的库，而且是跨机房的这种类似的例子。 sphinx 官网下载地址（这里根据自己的情况选择相应的版本下载即可） 这里我下载的是sphinx-3.1.1-release-win64.zip，将下载的文件解压,解压后将文件夹重命名为sphinx（方便后续操作,目录结构如下图所示） sphinx 目录结构
linux下查询进程占用的内存方法总结，假设现在有一个「php-cgi」的进程 ，进程id为「25282」。现在想要查询该进程占用的内存大小。linux命令行下有很多的工具进行查看，现总结常见的几种方式。
分词搜索始终不是那么好解决，但是基本也有现成的解决方案。在我博客之前的文章我也介绍过Sphinx分词搜索：CentOS7下安装Sphinx 中文分词【PHP+MySQL】
Xunsearch 是开源免费、高性能、多功能，简单易用的专业全文检索技术方案，是目前非常知名的开源搜索引擎。
因为项目开发需要在游戏内部实现玩家名称的模糊查找功能，本身直接使用Sphinx配置mysql可以直接搭建一套模糊匹配的即可支持功能的实现。
主要参考了两篇文章，使用的安装版本为 coreseek-4.1-beta.tar 文章一，原地址为：http://zhan.renren.com/itbegin?gid=360288849803348
经过上篇文章的学习，相信大家对分词的概念已经有了更深入的了解了吧。我们也知道了，SCWS 是 XS 中的一个重要组成部分，但它也是可以单独拿出来使用的。而对于分词器来说，不管是 SCWS 还是现在流行的 IK、Jieba ，其实概念方面都是差不多的。比如说它们都需要字典来做为分词的依据，也会有停用词库这一类的附加字典。今天，我们主要来学习的就是 SCWS 字典相关的一些配置。此外，还有自定义分词器的实现。
继续上一篇索引创建流程完成，学习理解一下查询关键词的逻辑处理流程。
来源：blog.csdn.net/qq_35080796/article/details/105508744
根据需求，配置不同的 source／channel／sink，添加配置文件到 conf/中
HDFS（Hadoop Distributed File System）是Apache Hadoop的核心组件之一，它是一个高可靠性、高可用性的分布式文件系统，适合存储大规模数据集。在HDFS中，NameNode节点是HDFS集群的管理节点，它负责管理文件系统的命名空间、元数据信息和数据块的位置信息等。
1.帮助命令 可以通过此命令了解更多命令 hdfs dfs -help 2.根目录详情 hdfs dfs -ls / 3.文件上传到hdfs的根目录下 hdfs dfs -put a.txt /a.txt 4.剪切文件到hdfs的根目录下 hdfs dfs -moveFromLocal a.txt /aa.txt 5.从hdfs根目录下载文件到指定位置 hdfs dfs -get /a.txt /root/aa.txt 6.在hdfs下创建文件夹 hdfs dfs -mkdir /hq 7.在hdfs下强制
AIX系统镜像(RAID1) 对操作系统做镜像，防止硬盘坏掉时，不影响系统正常运行，起到容灾的作用。 制作 rootvg 的标准步骤 1. extendvg 2. chvg –Qn 3. mirrorvg –s 4. syncvg –v 5. bosboot –a 6. bootlist 7. shutdown –Fr 8. bootinfo –b 1.首先将1个空闲的物理磁盘加入到rootvg中,例如:hdisk1. #extendvg rootvg hdisk1 如果vg中仅包含2个pv(如:hdisk0,hdisk1),且1个pv是另1个pv的镜像,称为单镜像(single mirroring),那么QUORUM是不需要的,请执行该命令关闭它. #chvg –Qn rootvg 此情况称之为单镜像(single mirroring),一般单镜像的卷组都需要将 quorum 关闭,否则卷组中拥有2份VGDA的磁盘不可用时,受quorum制约,整个卷组无法激活,从而失去镜像意义. 对于rootvg镜像更加需要关闭quorum,否则一旦包含2份VGDA的磁盘不可用时,系统在引导过程中将不能激活 rootvg，从而引起启动失败。 该命令可在系统正常运行时随时补充执行,但需要重新启动才能生效.如果始终没有执行过,当系统启动失败时。 2.建立rootvg所有lv的镜像,你可以使用mklvcopy一个一个去建立,当然更加简单的方法是使用卷组镜像命令. #mirrorvg –S rootvg （这里的s为大写，即指定后台同步vg，如果是小写，后台不同步vg） # mirrorvg -c 3 rootvg hdisk1,hdisk2 (-c指定镜像数及硬盘，2块硬盘无需指定) 或者 # mklvcopy hd1 2 hdisk1 # mklvcopy hd2 2 hdisk1 # mklvcopy hd3 2 hdisk1 # mklvcopy hd4 2 hdisk1 # mklvcopy hd5 2 hdisk1 # mklvcopy hd6 2 hdisk1 # mklvcopy hd8 2 hdisk1 # mklvcopy hd9var 2 hdisk1 # mklvcopy hd10opt 2 hdisk1 3.接着需要进行镜像间的数据同步. （如果2步骤，写的是大S，则这步可不执行） #syncvg –v rootvg 4.为了使rootvg中的任一pv都能够完成系统启动任务,需要执行bosboot. #bosboot -a 或者 #bosboot -ad hdisk0;bosboot -ad hdisk1;
有时候我们需要在终端下查看系统的相关信息，就需要用到sysctl命令，例如我的电脑是Mac，我要查看CPU的相关信息，命令和输出结果如下：
HDFS Shell是Hadoop分布式文件系统(HDFS)提供的一种命令行工具，用于管理HDFS中的文件和目录。HDFS Shell提供了一系列命令，包括文件和目录的创建、删除、移动、复制、查看等操作，可以方便地进行HDFS管理。
可以使用：hadoop fs -cat /user/hduser/test/test1.txt | more 进行分页显示
发送原始UDP封包时： 1 以IPPROTO_UDP 为协议类型创建一个原始套接字，打开原始套接字上的IP_HDRINCL选项 2 构建UDP封包，要先设置IP头，设置UDP头，最后UDP净荷数据。 3 初始化完整的UDP封包之后，调用sendto函数即可将他发送。 计算UDP封包校验和的过程如下： void ComputeUdpPseudoHeaderChecksum( IPHeader *pIphdr, UDPHeader *pUdphdr, char *payloa
Verilog hdl与VHDL混用详解
HDMI高清多媒体界面（英语：High Definition Multimedia Interface）是一种全数字化视频和声音发送接口，可以发送未压缩的音频及视频信号。HDMI可用于机顶盒、DVD播放机、个人计算机、电视游乐器、综合扩大机、数字音响与电视机等设备。HDMI可以同时发送音频和视频信号，由于音频和视频信号采用同一条线材，大大简化系统线路的安装难度。
本文详细分析了国家统计局统计用区划代码和城乡划分代码爬虫的实现过程，这是第二篇，详细分析了爬取全过程。
【原创链接】：http://www.cnblogs.com/atsats/p/6607886.html
Fabric peer节点使用文件保存区块， 使用level db或couchdb数据库保存状态， 数据很多state db会膨胀, 我们探讨下一些解决方案。
这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。
查询磁盘空间情况： COL NAME FORMAT a20; col path format a50; select name,path,STATE,free_mb,total_mb from v$asm_disk; NAME PATH STATE FREE_MB TOTAL_MB -------------------- -----------------------
我们还可以使用Ranger对HDFS进行目录权限访问控制。这里需要添加“HDFS-Plugin”插件。
HDFS默认通过网页http://master:50070访问，该网站只有下载功能，其交互性一般。
CentOS6 安装couchdb2 集群 参考：http://blog.csdn.net/wh211212/article/details/74359497 安装节点 安装couchdb2 节点二 参考安装节点一，使用一键安装脚本进行节点二的安装 #!/bin/bash ####################################################### # Functions: centos6.x mininal install apache couchdb # authe
说明：需要将 Oracle 数据库 OCR DATA ARCH 等所有老存储磁盘替换为新存储磁盘，
首先完成Java开发环境准备，创建工程并导入开发所需的Jar包。之后在准备好的工程中完成以下步骤。
adoop分布式文件系统（HDFS）是一个基于Java的分布式文件系统，由Apache Hadoop项目管理。在HDFS中，文件被分为块并存储在多个节点上，提供了高可靠性和高容错性，以及处理大量数据的能力。
转载：http://www.cnblogs.com/atsats/p/6607886.html
今年 6 月，西瓜视频宣布全面支持 HDR 视频功能，成为首个 HDR 技术覆盖全形态（手机、PC 和平板）、打通全环节（拍摄、编辑和消费）的视频平台。 HDR（High Dynamic Range，高动态范围 ) 视频，相比普通 SDR 视频拥有更高的色深、更广的动态范围和更强的色彩表现力，能显著提升视频画质。当西瓜用户拍摄、编辑、预览、上传和观看 HDR 视频时，字节跳动旗下火山引擎多媒体实验室的“端到端 HDR 视频解决方案”发挥了重要作用，该方案也已逐步开放给火山引擎的企业级客户。 近几年，众多厂
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
