【导读】平常为大家推荐的资源中，以英语语言占据大多数。今天 AI科技大本营特别要为大家推荐两个跟中文相关的资源工具。先简单介绍下这两个资源工具都是什么。第一个，汉字转拼音的工具——即将中文字符转换成它的拼音。除了支持 JavaScript，还可以支持 Python、Go、Rust 等多种语言。可以说是非常 nice 的一个中文资源工具了。第二个是新华字典的 API，收录包括 14032 条歇后语，16142 个汉字，264434 个词语，31648 个成语。有需要的同学可以收藏留着用，觉得不错记得分享点赞。
# isalpha() 如果字符串至少有一个字符并且所有字符都是字母则返回 True，否则返回 False；
> 内置函数就是在系统安装完python解释器时，由python解释器给提供好的函数
序列是一块用于放置多个值得连续存储空间，并且按特定顺序排列，每个值（称为元素）都分配一个整数（由左至右则从 0 开始；由右至左则从 -1 开始），称为索引（index）或位置，如下所示：
unicode 中文字符分类 回忆上次内容 字符集 从博多码 到 ascii 再到 iso-8859 系列 各自割据 如何把世界上各种字符统进行编码 unicode顺势而生不断进化 不过字符总量超过了65536 每个汉字都有位置 添加图片注释，不超过 140 字（可选） 所有汉字里面第一个汉字是什么呢？ 分布 添加图片注释，不超过 140 字（可选） 第一个字就是一 添加图片注释，不超过 140 字（可选） 一切本是混沌 河出图洛出书 一划开天 分出阴阳 一生二
在NLP中，很多都要对字或者单词进行预处理，或者是要创建词典； 例如：tf1: nn实现评论分类 例如：15. tf13: 简单聊天机器人 上面两篇都是对单词的操作，下面提供一份python3下对汉字的操作； 代码中有注释： import sys fr = open('xyj.txt', 'r', encoding='UTF-8') characters = [] stat = {} for line in fr: # 去掉每一行两边的空白 line = line.strip()
中文分词是中文文本自然语言处理的第一步，然而分词效果的好坏取决于所使用的语料词库和分词模型。主流的分词模型比较固定，而好的语料词库往往很难获得，并且大多需要人工标注。这里介绍一种基于词频、凝聚度和自由度的非监督词库生成方法，什么是非监督呢？输入一大段文本，通过定义好的模型和算法，即可自动生成词库，不需要更多的工作，听起来是不是还不错？ 参考文章：互联网时代的社会语言学：基于SNS的文本数据挖掘，点击阅读原文即可查看。访问我的个人网站查看更详细的内容，包括所使用的测试文本和代码。 获取所有的备选词语 假设对于
起因 最近接触了一道有意思的题目，就是单击表格的表头，根据表头的那一栏进行排序。恰好有一栏的数据全部是中文汉字，如果仅仅对于汉字数组使用默认的sort排序，那么是针对汉字的unicode值进行比较排序，结果肯定与我们习惯的根据汉字的拼音排序大不相同。但是对于一个简单易用的程序而言，没有必要写个复杂的算法来将汉字转化为拼音，然后在进行ascII码值比较，代价有些大，幸好，js中有一个函数可以基本解决我们的问题，那就是localCompare函数。 localCompare()
unicode 回忆上次内容 中国的简体和繁体汉字 字符数量都超级大彼此还认对方为乱码如果有一种编码所有的字符都能编进去就好了 中日韩(CJK)欧洲拼音梵文阿拉伯文卢恩字符等等等都包括进去添加图片注释，不超过 140 字（可选）能有么？🤔回顾历史 计算机中只有 0 和 1 并且是存储在字节里的原来只能表示和处理数字字符无法处理后来某些二进制数固定下来代表某个字符 形成了字符集从博多码(5bits)到 BCDIC(6bits)再到 EBCDIC码(8bits) 最后统一于 ascii添加图片
Python扩展库pypinyin支持汉字到拼音的转换，并且可以和分词扩展库配合使用。 >>> from pypinyin import lazy_pinyin, pinyin >>> lazy_pinyin('董付国') #返回拼音 ['dong', 'fu', 'guo'] >>> lazy_pinyin('董付国', 1) #带声调的拼音 ['dǒng', 'fù', 'guó'] >>> lazy_pinyin('董付国', 2) #另一种拼音风格 ['do3ng', 'f
有时在处理文件时候，我们需要将中文汉字转换为拼音或者拼音首字母的需求；还有的时候，我们需要对汉字进行按拼音字母排序（汉字的默认排序是编码序而非拼音序）。针对类似的转换需求，本文将介绍三种Python实现的方法，最后给一个批量操作的代码案例！
作者：shenshen-hungry 机器之心编译 参与：刘晓坤、思源 对于国内自然语言处理的研究者而言，中文词向量语料库是需求很大的资源。近日，北京师范大学等机构的研究者开源了「中文词向量语料库」，试图为大家解决这一问题，该库包含经过数十种用各领域语料（百度百科、维基百科、人民日报 1947-2017、知乎、微博、文学、金融、古汉语等）训练的词向量，涵盖各领域，且包含多种训练设置。目前，该研究的论文《Analogical Reasoning on Chinese Morphological and Se
image.png pypinyin 将汉字转为拼音。可以用于汉字注音、排序、检索 。 Documentation: http://pypinyin.rtfd.io GitHub: https://github.com/mozillazg/python-pinyin 特性 根据词组智能匹配最正确的拼音。 支持多音字。 简单的繁体支持, 注音支持。 支持多种不同拼音风格。 安装 $ pip install pypinyin 验证是否安装成功： image.png 使用说明 >>> from pypinyi
项目链接：https://github.com/Embedding/Chinese-Word-Vectors
它们预先定义在内置命名空间中，开箱即用，所见即所得。Python 被公认是一种新手友好型的语言，这种说法能够成立，内置函数在其中起到了极关键的作用。
工作中经常会遇到的一些排序问题，比如 按汉字的拼音首字母排序，比如人名排序等，就要用到下面的方法了，思路：
python怎么生成词云_导出微信聊天记录文本问题描述：将微信的聊天记录导出，生成词云，留作纪念。先看效果：非常多的哈哈哈（◕ˇ∀ˇ◕）**第一步：导出微信聊天记录**将微信聊天记录导出成文档，知乎上有很多种方法，其中主要是两类，第一种是通过root手机，获取权限；第二种为通过AppleiTunes备份。这里选择第二类方法（小米note3不支持root），具体过程也较为简便，感谢知乎**@hangcom**提供的免费工具...
【数据库】MySQL进阶七、 limit用法与varchar排序 limit用法 limit是mysql的语法 select * from table limit m,n 其中m是指记录开始的index，从0开始，表示第一条记录 n是指从第m+1条开始，取n条。 select * from tablename limit 2,4 即取出第3条至第6条，4条记录。 MySQL中怎么对varchar类型排序问题 asc 升级 desc降序 在mysql默认order by 只对数字与日期类型可以排序，但对于va
除了纯粹的数学和魔术，程序员也是本公众号服务的群体之一，他们大量的需要来自数学理性和魔幻艺术的滋养才能创作出更好的程序艺术品。本文以python中对象方法还是通用属性函数的调用方式的选择为例阐明了代码设计艺术中小而美的精髓，欢迎品评。
以下配置项是Linux系统的本地化（localization）设置，用于控制系统在不同方面如何呈现和处理数据。下面是每个配置项的解释：
bool() 对传入参数取布尔值， None, 0, "",[],{},() 这些参数传入bool后，返回False
GB2312 标准共收录 6763 个汉字，其中一级汉字 3755 个，二级汉字 3008 个；同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的 682 个字符。GB2312 的出现，基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖中国大陆 99.75% 的使用频率。对于人名、古汉语等方面出现的罕用字，GB2312 不能处理，这导致了后来 GBK 及 GB18030 汉字字符集的出现。
1 GB2312-80 GB 2312 或 GB 2312-80 是中国国家标准简体中文字符集，全称《信息交换用汉字编码字符集·基本集》，又称 GB 0，由中国国家标准总局发布，1981 年 5 月 1 日实施。GB 2312 编码通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持 GB 2312。 GB 2312 标准共收录 6763 个汉字，其中一级汉字 3755 个，二级汉字 3008 个；同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的 682 个字符。
一、背景知识 GB 2312-80 是中国国家标准简体中文字符集，全称《信息交换用汉字编码字符集·基本集》，由中国国家标准总局发布，1981年5月1日实施。GB2312 编码通行于中国大陆；新加坡等地也采用此编码。中国大陆几乎所有的中文系统和国际化的软件都支持 GB 2312。
https://faculty.blcu.edu.cn/system/resource/tsites/download.jsp?ap=jswzfj&fl=%2F_vsl%2FC703E9E1CDC6C1935C654FD92B74EC47%2F51F589F5%2FCA161&tid=25913&fid=1334
"xpinyin" 是一个 Python 库，用于将汉字转换为拼音。通过 xpinyin 库，你可以在 Python 中实现将中文字符转换为拼音的功能，方便在文本处理或其他应用中使用。 如果你需要在 Python 中进行汉字到拼音的转换，可以考虑使用 xpinyin 库。你可以通过 pip 安装 xpinyin，然后在 Python 脚本中引入该库并调用相应的函数来实现汉字到拼音的转换操作。 xpinyin 库在将汉字转换为拼音方面具有以下特色：
看完这篇文章，你能搞清楚以下问题： 1、varchar(100)和varchar(10)的区别在哪里？ 2、varchar能存多少汉字、数字？ 3、varchar的最大长度是多少呢？ 4、字符、字节、位，之间的关系？ 5、mysql字段类型存储需要多少字节？ 接下来请仔细看，整理不易啊。 1、varchar(100)和varchar(10)的区别在哪里？ 一般初学会认为，二者占用的空间是一样的。比如说我存储5个char，二者都是实际占用了5个char了【不准确的想法：varchar在实际存储的时候会多一个b
在查询的时候，经常用到排序，英文的排序自然好说，但是在线上特定场景环境中，可能需要对中文进行排序，比如用户的姓名、地址等等。在mysql中如何对中文排序呢？我们可以使用ORDER BY CONVERT(列名 USING 字符编码集)函数即可将中文列名按拼音顺序进行排序。
笔者以前在网上看到有民间高手制作字体的相关事迹，觉得把自己的手写字用键盘敲出来是一件很有意思的事情，所以一直有时间想制作一套自己的手写体，前几天在网上搜索了一下制作字体的方法，发现技术上并不是太难，结合了自己PHP方面的开发经验，很快的做出了一套自己的手写字体。
在前文《python笔记之3.x与2.x的使用区别》谈及了不同版本的区别问题。长远看软件新版本肯定会取代低版本的，除非你有成熟的老版本代码必须考虑兼容性问题，一般还是推荐新手学习新版本。
轻音默认不做声调标识，如果需要额外标注轻音为5，需要加入参数 neutral_tone_with_five=True：
因为自己在做的一个小软件里面需要用到从A-Z排序的ListView，所以自然而然的想到了微信的联系人，我想要的就是那样的效果。本来没打算自己去写，想要第三方写好的东西，搜了几个之后发现有的太复杂了，有的简单是简单，但是不符合我的要求，所以我就来个整合，把复杂性和简单性合二为一。
数据库收录了包括14032条歇后语，16142个汉字，31648个成语。下面文摘菌就简单的介绍一下这个数据库。
这种列表数据的类型是List<Intger>和List<String>，是简单的数据类型。 可以使用以下的方法排序。
Introduction to ICU General Transforms Transform Rule Tutorial 使用ICU进行拼音转汉字暂时似乎也许可能是不太行的
向AI转型的程序员都关注了这个号👇👇👇 1、手写交叉熵公式 2、为什么用交叉熵不用均方误差 1、均方误差作为损失函数，这时所构造出来的损失函数是非凸的，不容易求解，容易得到其局部最优解；而交叉熵的损失函数是凸函数； 2、均方误差作为损失函数，求导后，梯度与sigmoid的导数有关，会导致训练慢；而交叉熵的损失函数求导后，梯度就是一个差值，误差大的话更新的就快，误差小的话就更新的慢点。 3、说一下Adam优化的优化方式 Adam算法即自适应时刻估计方法（Adaptive
现在互联网上有许多拼音转换工具，基于Python的开源模块也不少，今天给大家介绍一个功能特性最多的模块: pypinyin ，它支持以下特性：
前言 曾几何时 Python 中文乱码的问题困扰了我很多很多年，每次出现中文乱码都要去网上搜索答案，虽然解决了当时遇到的问题但下次出现乱码的时候又会懵逼，究其原因还是知其然不知其所以然。现在有的小伙伴为了躲避中文乱码的问题甚至代码中不使用中文，注释和提示都用英文，我曾经也这样干过，但这并不是解决问题，而是逃避问题，今天我们一起彻底解决 Python 中文乱码的问题。
之前的一篇文章对一些基本的python编码问题做了比较表面的解释，有兴趣的可以点击这里去看一下我对python编码的基础理解。好了，下面先提出我碰到的问题。
今天给大家分享的是利用python实现点阵字体，可能大家对这个名词不太熟悉。给各位找了专业的解释：点阵字体是把每一个字符都分成16×16或24×24个点，然后用每个点的虚实来表示字符的轮廓。点阵字体也叫位图字体，其中每个字形都以一组二维像素信息表示（来源百度百科）。如下图，就是点阵字体
java在处理项目需求时，有时需要排序，尤其是中文名字按0-9，A-Z进行首字母排序，这时候就需要首先要得到中文字符串的首字母，然后按照字母顺序进行排序，不多说，直接上代码，看java如何获取中文字符串首字母：
手写汉字的一些特点： ①基本笔画变化。印刷体汉字的笔画基本上是横平竖直，折笔（乛、乙、く）的拐角大都是尖锐的钝角、锐角或直角，因而折笔基本上可以看做是由折线段所组成。我国手写汉字的笔画大都不具备上述的特点：横不平、竖不直，直笔画变弯，折笔的拐角变为圆弧，等等，例如，“品”字的三个“口”变成三个圆圈，“阝”变成“”；有时把较短的笔画变为“点”，有时则在起笔或折笔的拐角处增加额外的“笔锋”等。 ②笔画该连的不连，不该连的相连，这种情况十分普遍。它不是由于干扰等客观原因而产生，主要是由于书写者的习惯而造成的。应，笔画的长短及部件的大小也发生变化。以图4.l(a)的钢笔字帖为例，“担、打、报、择”几个字的偏旁“扌”，其竖笔长短不一，“阳、队、陈、陶”的部首“阝”也大小不同，它们在整字中的位置就有差异。方块汉字字形是一种艺术，书写时要求笔画及部件的形态和相互关系，尽量彼此协调，使整字字形结构匀称美观，因此上述笔画与部件的大小、位置变化，客观上是不可避免的。此外，由于书写者文化水平、习惯等的不同，他们所写的字差别就更大。样本属于比较工整的字样，但字形变化仍相当明显。这说明即使是同一个人写的字也有一定的差异。笔画长短、部首大小及位置等的变化，使我们难以仿照印刷体汉字识别的办法事先确定它们的位置，按规定区域提取笔画或部首特征。 a)一种钢笔字帖的字样；
想必大家都知道，在C里面，我们的汉字等东西是可以拆分为两个整数的（类似ascii码），那怎样获得每个字的字表码呢？很简单，写一个小小的循环，遍历一次就好了。
在 线程队列Queue / 线程队列LifoQueue 文章中分别介绍了先进先出队列Queue和先进后出队列LifoQueue，而今天给大家介绍的是最后一种：优先队列PriorityQueue，对队列中的数据按照优先级排序，那么具体怎么用呢？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
