Python正则表达式中的UTF
您好！Python正则表达式中的UTF是指Unicode字符集。Unicode是一种字符集，它包含了世界上大多数语言的字符，并且可以通过编码来表示。在Python正则表达式中，可以使用UTF来匹配Unicode字符集中的字符。
例如，可以使用UTF-8编码来匹配中文字符：
import re
pattern = re.compile(r'[\u4e00-\u9fa5]+')
result = pattern.findall('这是一段中文文本')
print(result)这段代码将会输出所有的中文字符。
UTF-8是Unicode字符集的一种编码方式，可以表示Unicode字符集中的任何字符。在Python正则表达式中，可以使用UTF-8编码来匹配任何字符。
例如，可以使用UTF-8编码来匹配任何字符：
import re
pattern = re.compile(r'[\x00-\x7F]+')
result = pattern.findall('这是一段中文文本')
print(result)这段代码将会输出所有的ASCII字符。
总之，Python正则表达式中的UTF是指Unicode字符集，可以使用UTF-8编码来匹配任何字符。
相关·内容
我有一个使用Python2.7-的代码-I am：
#!/usr/bin/python
# -*- Coding: UTF-8 -*-
import nltk
from nltk.tokenize import StanfordTokenizer
sentence = u"السلام عليكم و رحمة الله و بركاته"
print StanfordTokenizer().tokenize(sentence)
我将代码保存在一个名为example.py的文件中，当我在终端中编写python example.py时，会得到以下错误：
File "exa
浏览 3提问于2016-08-29得票数 1
回答已采纳
1回答
我在学蟒蛇。我了解到每条评论都是以"#“开头的。那么python解释器如何读取这行代码呢？
# -*- coding: utf-8 -*-
并将字符集设置为utf-8？(我使用的是Python 2.7.3)提前谢谢你。
浏览 0提问于2013-05-26得票数 0
回答已采纳
我知道Python 3修复了很多UTF问题，但是我不能使用Python 3，我使用的是2.5.1
我正在尝试正则表达式一个文档，但文档中有UTF连字符-而不是-。Python不能匹配它们，如果我把它们放在正则表达式中，它会抛出一个抖动。
如何强制Python使用UTF字符串或以某种方式匹配这样的字符？
谢谢你的帮忙
浏览 8提问于2008-12-16得票数 7
回答已采纳
1回答
我是python和cgi的新手。
如何将SQL查询存储为cgi脚本中的python变量？
目前，我的脚本是：
#!/usr/bin/python3
#enable debugging - BEGIN
import cgi
import cgitb
cgitb.enable()
#enable debugging - END
#HTTP Headers - BEGIN
#set encoding to UTF-8
print("Content-Type: text/html;charset=utf-8")
print()
#HTTP Headers - END
#HTML Con
浏览 0提问于2018-11-25得票数 0
2回答
Python编码注释格式
、、、、
最初，我已经学会了以这种方式指定Python 2.7中的源代码编码：
# -*- coding: utf-8 -*-
现在我注意到，PEP263也允许这样做：
# coding=utf-8
这两者有什么区别吗？那么编辑兼容、跨平台等呢？
Python 3呢？python 3是否仍然需要这样的注释，还是python 3中的任何代码在默认情况下都是utf-8？
浏览 0提问于2018-09-12得票数 4
回答已采纳
1回答
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import re
doc = "<div>Text text <span class='_ _3'>empty</span> text</div>"
soup = BeautifulSoup(doc)
for span in soup.find_all('span' , class_=re.compile("_\s_[0-9]+"
浏览 4提问于2014-01-08得票数 2
回答已采纳
2回答
我有一个编码为utf8的MySQL列。该utf8实际上不是完整的utf8集合，而是。我不想尝试将utf8插入到MySQL中，结果却发现它不符合MySQL的参数，即utf8应该是什么。在尝试插入之前，有没有办法在Python中测试满足MySQL参数的内容？由于显而易见的原因，在some_string.encode('utf-8')上捕获异常还不够严格。
浏览 1提问于2015-09-09得票数 3
我正在使用脚本(Python)查找一些文件。我将文件名与正则表达式模式进行比较。现在，我必须找到以"~“(波浪号)结尾的文件，所以我构建了这个正则表达式：
if re.match("~$", string_test):
print "ok!"
好吧，Python似乎不能识别regex，我不知道为什么。我在其他语言中尝试了相同的正则表达式，它工作得很好，你知道吗？
PD:我在一个网页上读到，我必须插入
# -*- coding: utf-8 -*-
但没有帮助:(。
非常感谢，同时我将继续阅读，看看是否有什么发现。
浏览 0提问于2010-07-12得票数 1
尝试读取以\xef\xbb\xbf开头的文件时无法避免此错误
UnicodeDecodeError：'utf-8‘编解码器无法解码位置63675320处的字节0xe4 :无效的继续字节
openit = [any1file for any1file in os.listdir('.') if any1file.endswith('.Log')]
if len(openit) != 1:
raise ValueError('should be only one Log file in the current directory')
open
浏览 10提问于2021-08-09得票数 0
1回答
我在Python 3中有这个Python正则表达式代码，我不明白。我很感激能用几个例子来解释它到底做了些什么。守则是：
# encoding=utf-8
import re
newline = re.sub(r'\s+(((زا(ی)?)?|ام?|ات|اش|ای?(د)?|ایم?|اند?)[\.\!\?\،]*)', r'\1 ', newline)
浏览 1提问于2014-01-23得票数 0
回答已采纳
1回答
()
我很难使用这个库，我找不到它的任何文档。(有吗？)
有一些有用的东西在呼唤帮助(文档)，但是仍然有一些错误。
到目前为止我的代码是：
from readability.readability import Document
import requests
url = 'http://www.somepage.com'
html = requests.get(url, verify=False).content
readable_article = Document(html, negative_keywords='test_keyword').su
浏览 2提问于2016-06-26得票数 1
回答已采纳
我正在使用Python中的正则表达式。我希望匹配插入到数据库中的CSV文件中以下划线开头和结尾的几行。
我在我的Python脚本中使用了正则表达式来做同样的事情，但它将结果打印为'none‘。下面是我的代码，请告诉我我犯了什么错误：
reg = re.compile(r'^_.*_$',re.I)
imatch = reg.match(unicode(row[4], "utf8"))
这里的r'^_.*_$',re.I是我的正则表达式，用于匹配以_开头和结尾的行。unicode(row[4], "utf8")指定插入到数据
浏览 3提问于2013-02-18得票数 0
回答已采纳
我需要(在Python中)将一个4字节的char转换为其他字符。这是为了将其插入到我的utf-8 mysql数据库中，而不会收到如下错误：“第1行的'line‘列的字符串值不正确：'\xF0\x9F\x94\x8E’”
展示了这样做的方法：
>>> import re
>>> highpoints = re.compile(u'[\U00010000-\U0010ffff]')
>>> example = u'Some example text with a sleepy face: \U0001f6
浏览 3提问于2012-09-28得票数 7
回答已采纳
我正在尝试用Python3.7.2编写Python代码，以便在同一目录下的多个UTF8文本文件中删除所有中文字符中的空格。
我目前的代码只适用于一个文件：
import re
with open("transcript 0623.txt") as text:
new_text = re.sub("(?<![ -~]) (?![ -~])", "", text)
with open("transcript 0623_out.txt", "w") as result:
resul
浏览 27提问于2019-11-17得票数 0
回答已采纳
我试图在Python中使用RegEx表达式，以便在网页中找到特定的变量。然后，我使用csv文件导出这个文件。但是，如果找到的组包含完整停止，则它根本不导出.我该怎么补救呢？
在此网页中，项目显示的更改取决于输入的代码。我的脚本自动输入代码，然后记录生成的项目。下面是我代码的相关部分：
import re
regName = r'The item name is (.*?)\.'
response = opener.open(
'http://website.com/webpage.php' + itemValues)
html = response.
浏览 3提问于2014-06-30得票数 0
回答已采纳
我有一个简单的脚本。
# -*- encoding : utf-8 -*-
episode_title = "ザ・ロック（日本語吹替版)".decode('utf-8')
print episode_title.encode('utf-8')
但它不能在我的cmd控制台上工作(Win8 PC，编码是big5)。
SyntaxError: Non-ASCII character '\xe3' in file G:\test.py on line 2, but no encoding declared; see http://pyth
浏览 0提问于2015-03-06得票数 1
回答已采纳
我很好奇python源代码如何设置Py_FileSystemDefaultEncoding的值。我收到了一件奇怪的事。
因为python 关于sys.getfilesystemencoding()说：
在Unix上，根据nl_langinfo(CODESET)的结果编码是用户的首选项，如果nl_langinfo(CODESET)失败，则没有编码。
我使用python 2.7.6
```javascript
导入sys
sys.getfilesystemencoding()
‘’UTF 8‘
进口地区
loca
浏览 4提问于2015-02-15得票数 4
回答已采纳
代码如下：
#coding=utf-8
import re
str = "The output is\n"
str += "1) python\n"
str += "A dynamic language\n"
str += "easy to learn\n"
str += "2) C++\n"
str += "difficult to learn\n"
str += "3244) PHP\n"
str += "eay to learn\n"
pattern =
浏览 1提问于2013-06-19得票数 3
回答已采纳
我有一张python中的String列表。现在我想从列表中删除所有的字符串，这些字符串都是特殊的utf-8字符。我只想要字符串，其中只包含从"U+0021“到"U+00FF”的字符。那么，您知道如何检测字符串是否只包含这些特殊字符吗？
谢谢:)
编辑:我使用Python 3
浏览 9提问于2016-07-11得票数 0
回答已采纳
无法在使用python pypsexec库的远程计算机上使用powershell命令替换txt文件中的单词
我试过下面的代码：
ip = '10.X.X'
username = 'administrator'
password = 'XXXXXX'
try:
c = Client(ip, username, password, encrypt = 'False')
c.connect()
c.create_service()
print ('service created for follo
浏览 0提问于2019-09-04得票数 0
3回答
用Python替换utf-8文本中3个和更多相同字符的序列最快的方法是什么?我需要用2个字符替换3个和更多相同字符的序列。也就是说。
aaa -> aa
bbbb -> bb
abbbcd -> abbcd
124xyyyz3 -> 124xyyz3
浏览 1提问于2013-05-14得票数 1
1回答
我刚开始学习python 3。(我正在读python的书，我有一些问题……)
我有一些问题要阅读并从html源中找到关键字。
我写了打开url的代码。例如,
page =urllib.request.urlopen(some url)
text = page.read().decode("utf8")
因此，我假设text包含所有html代码，并且text是object。
问题1.我想用某种数组或数组列表来存储html源代码。但是，我不太确定如何从"text“对象中获取代码行并将其存储到某种数组中。
问题2. python是否有“包含”函数来从数组中找到像"st
浏览 3提问于2013-04-11得票数 0
跟进我之前的thread关于UTF-8文字的问题： 现在已经确定，您可以从这样的字符串中解码UTF-8文字，其中只包含UTF-8文字： let s = "\\xc3\\xa6"
let bytes = s
.components(separatedBy: "\\x")
// components(separatedBy:) would produce an empty string as the first element
// because the string starts with "\x". We drop t
浏览 103提问于2021-11-22得票数 0
回答已采纳
1回答
我试图创建一个正则表达式来匹配一个句子。
这是一个片段。
local utf8 = require 'lua-utf8'
function matchsent(text)
local text = text
for sent in utf8.gmatch(text, "[^\r\n]+\.[\r\n ]") do
print(sent)
print('-----')
end
end
但是，它不像python那样工作。我知道Lua使用不同的regex模式，它的regex功能是有限的，但是为什么上面的regex会给我一个语
浏览 3提问于2016-09-05得票数 3
回答已采纳
我的问题是，即使我使用utf-8，使用正则表达式和re.search()的Python也不能识别重音。这是我的代码串；
#! /usr/bin/python
-*- coding: utf-8 -*-
import re
htmlString = '</dd><dt> Fine, thank you. </dt><dd> Molt bé, gràcies.'
SearchStr = '(\<\/dd\>\<dt\>)+ ([\w+\,\.\s]+)([\&\#\d\;]
浏览 1提问于2013-03-06得票数 0
回答已采纳
我从网站上了解到，当我不想输入友好的unicode字符：时，我应该在python中添加代码声明，但我仍然对此感到困惑。
假设我在linux中使用vim，然后创建一个新的py文件和输入代码，如下所示：
#!/usr/bin/python2.7
# -*- coding: utf8 -*-
s = u'ޔ'
print s
1。我试图用以下代码替换第2行：
import sys
reload(sys)
sys.setdefaultencoding('utf8')
但这不管用，不是吗？
2。我对linux不太熟悉，我真的不知道为什么要在代码删除的开头和结尾添加_*_，
浏览 6提问于2011-11-26得票数 7
回答已采纳
我一直在为一个当地的童子军组建一个网站。由于某些原因，Django中的这个错误继续存在，我无法理解它从何而来，以及如何修复它。
根据跟踪的错误出现在我的index.html页面：
<head>
<meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=0">
<meta charset="utf-8" />
<meta nam
浏览 4提问于2017-02-06得票数 1
回答已采纳
我正在尝试将jupyter笔记本转换为python脚本。除了那些单元格标签(我相信) In[84]:，In[80]:之外，所有的东西都可以工作。我试过trp.remove_cell_tags = ("remove_cell",)，但没有成功。删除这些字符串的最佳方法是什么？ # In[8]:
eco = pd.read_csv(here('./data/eco.csv'))
# In[68]:
eco.head(20)
# In[40]:
# Plot two variables but it's likely to suffer
浏览 23提问于2021-06-21得票数 0
回答已采纳
2回答
在Python中使用中文
、、、
我正在尝试用Python处理中文文本和大数据。部分工作是从一些不需要的数据中提取干净的文本。为了实现这个目标，我使用了正则表达式。然而，我在Python regex中遇到了一些问题，就像在PyCharm应用程序中一样：
1)数据存储在postgresql中，并在列中显示良好，但选择并拉取到var后，显示为正方形：
当打印到控制台的值如下所示：
薄荷曼秀雷敦男士深层活炭洁面乳100g(新包装)
因此，我假设应用程序编码没有问题，但编码的调试部分没有问题，然而，我没有找到任何针对这种行为的解决方案。
2)我需要注意的正则表达式的示例是删除包含它们的中文括号之间的值。我使用的代码是：
#!/u
浏览 5提问于2015-03-19得票数 1
请查看我的正则表达式模式代码：
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import re
print 'Start'
str1 = 'abcdefgasdsdfswossdfasdaef'
m = re.match(r"([A-Za-z\-\s\:\.]+)+(\d+)\w+", str1) # Want to match something like 'Moto 360x'
print m # None is expected.
print 'Done'
它
浏览 1提问于2014-12-12得票数 2
回答已采纳
我正在尝试以.txt格式从一些文档中删除HTML标记。然而，据我所知，bs4似乎有一个错误。我得到的错误如下：
Traceback (most recent call last):
File "E:/Google Drive1/Thesis stuff/Python/database/get_missing_10ks.py", line 13, in <module>
text = BeautifulSoup(file_read, "html.parser")
File "C:\Users\Adrian PC\AppData
浏览 0提问于2018-11-03得票数 18
2回答
我正试图解析html页面并将其保存在数据库中。创建带有页面标记的json。
其中一些标记包括javascript，如
<script type="text/javascript">RegisterSod("search.js", "");</script><script type="text/javascript" language="JavaScript" defer="defer">
<!--
function SearchEnsureSOD() { E
浏览 6提问于2016-12-15得票数 0
回答已采纳
2回答
这已经困扰了我一段时间了，我不能用正则表达式找到一个带有Beautifulsoup的字符串，我也不知道为什么。
这是我遇到麻烦的台词：
data = soup.find(text=re.compile('Överförda data (skickade/mottagna)
如果需要，下面是完整的代码：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import print_function
from bs4 import BeautifulSoup
import re
import urllib2
#
浏览 1提问于2014-09-15得票数 0
回答已采纳
6回答
我从一个文件中获得了一个数据：
words = re.findall(r'[\w]+',self._from.encode('utf8'),re.U)
如果文件包含：
嗨，你好吗？
那么结果将是：
'Hi'，'how'，'are'，'you‘
但如果文件包含俄语(即西里尔符号)，则：
Привет，какдела？
在这种情况下，结果是：
'\xd0'，'\xd1'，'\xd0'，'\xd0\xb2\xd0\xb5\xd1'，'
浏览 266提问于2013-03-16得票数 14
回答已采纳
1回答
我有一个文本文件，我使用xml.etree.cElementTree库用python解析了它。在输入中，我有一个包含句子<s>的段落<p>，每个句子都有单词<w>，下面是文本文件的样子： This
is
my
first
sentence.
This
is
my
second
sentence. 在输出中，我希望有以下xml文件： <p>
<s>
<w>this</w>
<w>is</w>
<w>my</w>
浏览 23提问于2019-03-12得票数 2
回答已采纳
我开始用Python来解决CTF的编程问题，当时我遇到了一个挑战，那就是如何自动化数学计算以获得标志。
欢迎页面的源代码如下所示：
<html>
<head>
<meta charset="utf-8">
<title>FastMath</title>
</head>
<body>
<div id="content" style="text-align: center;">
Can you solve the level 1?
浏览 2提问于2020-11-04得票数 0
回答已采纳
3回答
我正在尝试使用Python regex从下面的HTML标记中获取所有带有id='revSAR'的URL：
<a id='revSAR' href='http://www.amazon.com/Altec-Lansing-inMotion-Mobile-Speaker/product-reviews/B000EDKP8U/ref=cm_cr_dp_see_all_summary?ie=UTF8&showViewpoints=1&sortBy=byRankDescending' class='txtsmall noTex
浏览 0提问于2013-08-20得票数 0
使用python从下面的字符串中获取'X-Mailer-recipient:‘电子邮件id的方法有哪些？
使用re？
Received: from localhost6.localdomain6 (unknown [59.92.85.188])
by smtp.webfaction.com (Postfix) with ESMTP id 05B332078BD1
for <rshivaganesh@gmail.com>; Fri, 26 Aug 2011 04:59:36 -0500 (CDT)
Content-Type: t
浏览 1提问于2011-08-30得票数 1
回答已采纳
我有一个超过10MB的大文本文件时，需要有条件搜索和替换。如果"a“后面的字符是"r”或"m“或"n”或"u“，我想用"ā”替换文件中每个"a“的实例。
例如:输入文件
Hamro sano ghar holata.
输出文件
Hāmro sāno ghār holata.
编辑
谢谢大家，它看起来工作得很好。但它似乎不适用于非拉丁字符，如Indic Scripts: Working script for拉丁字符：
#!/usr/bin/env python
#-*- coding: utf-8 -*-
import re
input =
浏览 6提问于2011-01-30得票数 1
回答已采纳
尝试使用word_tokenize和sent_tokenize标记带有新行的段落，但它无法识别新行。
尝试通过将其拆分到新行中来将其分成段落，但仍然不起作用。
from nltk import sent_tokenize, word_tokenize, pos_tag
para="the new line \n new char"
sent=sent_tokenize(para)
print(sent)
输出：
['the new line \n new char']
如果在python中以字符串格式指定数据，但在从docx文件中提取数据时失败，则它可以工作
对
浏览 12提问于2018-02-05得票数 1
回答已采纳
要转换一些python代码，我需要匹配不包含有效utf8的“二进制”正则表达式：
panic: regexp: Compile("^\xfd\xe2(..)(.)(..)\x00\x00\x00\x00\x00\x00.+$"):
error parsing regexp: invalid UTF-8: `��(..)(.)(..).+$`
这可以用golang库来完成吗?或者有什么类似的选择呢？
浏览 8提问于2020-06-28得票数 1
回答已采纳
我有一个Python脚本，它有一个用这个方法定义的类：
@staticmethod
def _sanitized_test_name(orig_name):
return re.sub(r'[`‘’\"]*', '', re.sub(r'[\r\n\/\:\?\<\>\|\*\%]*', '', orig_name.encode('utf-8')))
我能够在命令提示符下运行脚本，没有任何问题。但是，当我将完整类的代码粘贴到控制台中时，我得到了SyntaxError: unexpecte
浏览 2提问于2016-09-07得票数 1
回答已采纳
我正在尝试读取一个HTML文件只在一个特定的块(jinja模板)在python中。我想读取{% block content %}和它对应的{% endblock %}之间的内容。
我在两个块之间搜索{{和{%，我想打印找到搜索模式的行号和内容。
我将文件路径保存在一个变量中，并在需要时使用它打开文件。我使用枚举函数来跟踪行号。
fp = r"<path_to_HTML_file>"
def scan(line_number, line, flag):
with open(fp, 'r', encoding='utf-8')
浏览 8提问于2019-11-03得票数 0
'{"country1":"japan1", "country2":"japan2", "language": "\\nabc::{\\n first_language:hindi,\\n second_language:\\"jui-juki-oiu.ghj\\",\\n third_language:\\"567987\\",\\n input_encoding:\\"UTF-8\\",\\n output_encoding:\\
浏览 31提问于2020-04-15得票数 0
回答已采纳
3回答
我得到了一个文件，其中包含许多行的纯utf-8文本。比如下面，顺便说一句，它是中文的。
PROCESS：类型：关爱积分[NOTIFY] 交易号：2012022900000109 订单号：W12022910079166 交易金额：0.01元 交易状态：true 2012-2-29 10:13:08
文件本身保存为utf-8格式。文件名为xx.txt
这是我的python代码，env是python2.7
#coding: utf-8
import re
pattern = re.compile(r'交易金额：(\d+)元')
for line in open(&
浏览 2提问于2012-05-11得票数 8
回答已采纳
1回答
如何使用Python中的正则表达式查找整个单词？我使用美丽的汤和重新库来解析一个文档。在汤中，我需要找到单词“电子邮件”之后的所有内容。我试着
for sublink in link.findAll(text = re.compile("[E-mail:0-9a-zA-Z]")):
print sublink.encode('utf-8')
但不起作用。
浏览 3提问于2014-08-18得票数 1
回答已采纳
我试图验证电子邮件:从文件中传递信息。
这是我的Python代码：
with open(filename, "r+", encoding="utf-8") as file:
for line in file:
match = re.search(
'^[a-z0-9_.+-]+@[a-z0-9-]+\.[a-z0-9-.]+:[a-z0-9-.!-?@]+', line)
if match:
a = match.group()
prin
浏览 2提问于2020-05-02得票数 0
回答已采纳
我在Bodo语言中使用python2.7作为NLP (使用脚本)。
在删除停止字的过程中，我在一个由换行符("\n")分隔的文件中列出了一个停止词列表。我使用编解码模块读取这个文件并转换成一个列表。
raw_txt = codecs.open('stopwords.txt', 'r', 'utf-8')
stopWords = []
while(1):
line = raw_txt.readline()
if not line:
break
line = u''.join(l
浏览 1提问于2013-05-26得票数 4
1回答
使用python 2.7
我试图写一个正则表达式，可以识别任何utf-8数字0-9 (不仅仅是阿拉伯数字，也包括简体中文)和任何unicode字字符。
例如，我有：
4_1424336,P-九
(九是中文9)。
我想回来：
9_9999999,A-9
我目前的职能是：
def multiple_replace(myString):
myString = re.sub(ur'(?u)[^\W_*\d]', u'A', myString)
myString = re.sub(ur'(?u)[\d]', u'9', m
浏览 6提问于2013-11-30得票数 0
1回答
我使用yaml文件来存储一些配置数据，包括一些(许多) regex字符串，这些字符串我不想保存在代码中。除了我试图用r'\\\|'搜索一些错误转义的管道字符之外，一切都正常。我在yaml中尝试了引号、未引号和文字字符串，但没有任何效果。Yaml和Python转义规则一起似乎是为了使字符串中的反斜杠数目保持均匀。我打开该文件并用
f=open(file_path, 'r', encoding='utf_8')
python_dict = yaml.load(f)
我想要复制
re.compile('\\\|')
使用类似的
re.c
浏览 0提问于2018-09-20得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
