RE模块
re 模块是 python 独有的匹配字符串的模块,该模块中提供的很多功能是基于正则表达式实现的,而正则表达式是对字符串进行模糊匹配,提取自己需要的字符串部分,他对所有的语言都通用。
注意:
- re 模块是 python 独有的
- 正则表达式所有编程语言都可以使用
正则规则
规则
字符
元字符 | 说明 |
---|---|
. | 匹配除换行符以外的任意字符 |
\w | 匹配字母或数字或下划线 |
\s | 匹配任意的空白符 |
\d | 匹配数字 |
\n | 匹配一个换行符 |
\t | 匹配一个制表符 |
\b | 匹配一个单词的结尾 |
^ | 匹配字符串的开始 |
$ | 匹配字符串的结尾 |
\W | 匹配非字母或数字或下划线 |
\D | 匹配非数字 |
\S | 匹配非空白符 |
[...] | 匹配字符组中的任一字符 |
[^...] | 匹配除了字符组中字符的所有任一字符 |
`a | b` |
(ab) | 匹配括号内的表达式,即将括号中字符作为一个分组 |
\num | 引用分组num匹配到的字符串 |
量词
量词 | 说明 |
---|---|
* | 零次或无限次 |
+ | 一次或无限次 |
? | 零次或一次 |
{n} | n次 |
{n,} | n次或无限次 |
{n,m} | n到m次 |
案例
单字符匹配
正则 | 待匹配字符 | 匹配结果 | 说明 |
---|---|---|---|
[a-z] | abacad | a b a c a d | 匹配到6处小写字符 |
a. | abacad | ab ac ad | 匹配所有"a."的字符 |
^a. | abacad | ab | 只从开头匹配"a." |
a.$ | abacad | ad | 只匹配结尾的"a.$" |
a.? | abefacgada | ab ac ad a | ?表示重复零次或一次,即只匹配"a"后面零个或一个任意字符。 |
a.* | abefacgad | abefacgad | *表示重复零次或多次,即匹配"a"后面零个或无限个任意字符。 |
a.+ | abefacgad | abefacgad | +表示重复一次或多次,即只匹配"a"后面一个或无限个任意字符。 |
a.{1,2} | abefacgad | abe acg ad | {1,2}匹配1到2次任意字符。 |
字符集匹配
正则 | 待匹配字符 | 匹配结果 | 说明 |
---|---|---|---|
a[befcgd]* | abefacgad | abef acg ad | 表示匹配"a"后面[befcgd] 中的任一字符任意次 |
a[^f]* | abefacgad | abe acgad | 表示匹配一个不是"f"的字符任意次 |
[\d] | 31sa32dsa | 3 1 3 2 | 表示匹配任意一个数字,匹配到4个结果 |
[\d]+ | 31sa32dsa | 31 32 | 表示匹配任意个数字,匹配到2个结果 |
分组匹配
身份证号码是一个长度为 15 或 18 个字符的字符串,如果是 15 位则全部由数字组成,首位不能为 0;如果是 18 位,则前 17 位全部是数字,末位可能是数字或 x,下面我们尝试用正则来表示:
正则 | 待匹配字符 | 匹配结果 | 说明 |
---|---|---|---|
^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 | 110101198001017032 | 表示可以匹配一个正确的身份证号 |
^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 | 1101011980010170 | 表示也可以匹配这串数字,但这并不是一个正确的身份证号码,它是一个16位的数字 |
^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 | False | 现在不会匹配错误的身份证号了,() 表示分组,将\d{2}[0-9x] 分成一组,就可以整体约束他们出现的次数为0-1次 |
`^([1-9]\d{16}[0-9x] | [1-9]\d{14})$` | 110105199812067023 | 110105199812067023 |
转义符\
在正则表达式中,有很多有特殊意义的是元字符,比如 \n
和 \s
等,如果要在正则中匹配正常的 "\n"
而不是 "换行符"
就需要对 "\"
进行转义,变成"\\"
。
在 python 中,无论是正则表达式,还是待匹配的内容,都是以字符串的形式出现的,在字符串中 \
也有特殊的含义,本身还需要转义。所以如果匹配一次 "\n"
, 字符串中要写成'\\n'
,那么正则里就要写成 "\\\\n"
, 这样就太麻烦了。这个时候我们就用到了 r'\n'
这个概念,此时的正则是 r'\\n'
就可以了。
正则 | 待匹配字符 | 匹配 结果 | 说明 |
---|---|---|---|
\n | \n | False | 因为在正则表达式中\ 是有特殊意义的字符,所以要匹配\n 本身,用表达式\n 无法匹配 |
\\n | \n | True | 转义\ 之后变成\\ ,即可匹配 |
\\\\n | \\n | True | 如果在python中,字符串中的\ 也需要转义,所以每一个字符串\ 又需要转义一次 |
r'\\n' | r'\n' | True | 在字符串之前加r,让整个字符串不转义 |
贪婪匹配
贪婪匹配:在满足匹配时,匹配尽可能长的字符串,默认情况下,采用贪婪匹配
注意:前面的 *
,+
等都是贪婪匹配,也就是尽可能匹配,后面加? 号使其变成惰性匹配(非贪婪匹配)
正则 | 待匹配字符 | 匹配结果 | 说明 |
---|---|---|---|
a.*? | abefacgad | a a a | 加上?为将贪婪匹配模式转为非贪婪匹配模式,会匹配尽量短的字符串 |
a.+? | abefacgad | ab ac ad |
几个常用的非贪婪匹配 Pattern
*? 重复任意次,但尽可能少重复
+? 重复1次或更多次,但尽可能少重复
?? 重复0次或1次,但尽可能少重复
{n,m}? 重复n到m次,但尽可能少重复
{n,}? 重复n次以上,但尽可能少重复
.*? 的用法
. 是任意字符
* 是取 0 至 无限长度
? 是非贪婪模式。
何在一起就是 取尽量少的任意字符,一般不会这么单独写,他大多用在:
.*?x
就是取前面任意长度的字符,直到一个x出现
re模块
常量、属性
re.A
(re.ASCII)
让 \w
,\W
,\b
,\B
,\d
,\D
,\s
和 \S
执行 ASCII - 只匹配完整的 Unicode 匹配代替。这仅对 Unicode 模式有意义,而对于字节模式则忽略。
re.I
(re.IGNORECASE)
执行不区分大小写的匹配;类似的,表达式[A-Z]
也将匹配小写字母。
re.L
(re.LOCALE)
让 \w
,\W
,\b
,\B
和 区分大小写的匹配 取决于当前的语言环境。该标志只能与字节模式一起使用。
不建议使用此标志,因为语言环境机制非常不可靠,它一次只能处理一种 “区域性”,并且仅适用于 8 位语言环境。
默认情况下,Python 3 中已为 Unicode(str)模式启用了 Unicode 匹配,并且能够处理不同的语言环境/语言。
re.M
(re.MULTILINE)
指定时,模式字符'^'
在字符串的开头和每行的开头(紧随每个换行符之后)匹配;模式字符'$'
在字符串的末尾和每行的末尾(紧接在每个换行符之前)匹配。
默认情况下,'^'
仅在字符串的开头,'$'
仅在字符串的末尾和字符串末尾的换行符(如果有)之前立即匹配。
re.S
(re.DOTALL)
使'.'
特殊字符与任何字符都匹配,包括换行符;没有此标志,'.'
将匹配除换行符以外的任何内容。
常用方法
re.match(pattern, string, flags=0)
如果字符串开头的零个或多个字符与正则表达式模式匹配,则返回相应的匹配对象。如果字符串与模式不匹配,则返回None。
In [1]: import re
In [4]: re.match('\d','1abcade')
Out[4]: <re.Match object; span=(0, 1), match='1'>
In [5]: re.match('\d','a1bcade')
In [6]: re.match(r"0$|100$|[1-9]\d{0,1}$", '100') # 匹配0-100的数字
Out[6]: <re.Match object; span=(0, 3), match='100'>
In [7]: re.match(r"0$|100$|[1-9]\d{0,1}$", '0')
Out[7]: <re.Match object; span=(0, 1), match='0'>
In [8]: re.match(r"0$|100$|[1-9]\d{0,1}$", '20')
Out[8]: <re.Match object; span=(0, 2), match='20'>
In [9]: re.match(r'<([^>]+?)>.*</(\1)>', '<b>hello</b>') # 后面的分组引用分组1的值,也就是后面的分组必须和前面的分组一样才可以
Out[9]: <re.Match object; span=(0, 12), match='<b>hello</b>'>
In [10]: re.match(r'<([^>]+?)>.*</(\1)>', '<b>hello</p>')
In [11]: re.match(r'<(?P<name>[^>]+?)>.*</(?P=name)>', '<b>hello</b>') # 前面的分组起名为name,后面的分组必须和名为name的分组值一样才可以
Out[12]: <re.Match object; span=(0, 12), match='<b>hello</b>'>
In [13]: re.match(r'<(?P<name>[^>]+?)>.*</(?P=name)>', '<b>hello</p>')
In [14]: re.match('\d','1abcade').group() # 通过调用group()方法得到匹配的字符串,如果匹配结果为None,则调用group()方法会抛出异常。
Out[14]: '1'
In [15]: re.match(r"(a.)+", "a1b2c3").group(1) # 可以通过指定序号,获取对应组的匹配结果
Out[15]: 'a1'
In [16]: re.match(r"(..)+", "a1b2c3").group(1) # 一个组匹配成功多次,就只返回最后一个匹配
Out[16]: 'c3'
In [17]: res = re.match(r"(\w+) (\w+)", "Isaac Newton, physicist")
In [18]: res.group(1) # 可以通过指定序号,获取对应组的匹配结果
Out[18]: 'Isaac'
In [19]: res.group(2)
Out[19]: 'Newton'
In [20]: res.group(1, 2)
Out[20]: ('Isaac', 'Newton')
In [21]: res.groups() # 返回一个元组,包含所有匹配的子组
Out[21]: ('Isaac', 'Newton')
In [22]: res = re.match(r"(\w+) (\w+)", "Isaac Newton, physicist")
In [23]: res[0] # 这个等价于 m.group(n)。这允许更方便的引用一个匹配结果
Out[23]: 'Isaac Newton'
In [24]: res[1]
Out[24]: 'Isaac'
In [25]: res[2]
Out[25]: 'Newton'
In [26]: res = re.match(r"(\d+)\.?(\d+)?", "24")
In [27]: res.groups(default=None) # default参数用于匹配不到结果的组;默认为 None
Out[27]: ('24', None)
In [28]: res.groups(default='0') # 指定default的值为0,当组匹配不到值时,就是默认值0
Out[28]: ('24', '0')
In [29]: res = re.match(r"(?P<integer>\d+)\.?(?P<decimal>\d+)?", "24")
In [30]: res.groupdict() # 返回一个字典,包含了所有的 命名 子组。key就是组名。default参数用于匹配不到结果的组;默认为 None
Out[31]: {'integer': '24', 'decimal': None}
In [32]: res.groupdict(default=0) # 指定default的值为0,当组匹配不到值时,就是默认值0
Out[32]: {'integer': '24', 'decimal': 0}
re.search(pattern, string, flags=0)
扫描字符串以查找正则表达式模式产生匹配项的第一个位置 ,然后返回相应的 match 对象。如果字符串中没有位置与模式匹配,则返回None。
In [1]: import re
In [11]: re.search('\d','a1bcade').group()
Out[11]: '1'
In [12]: re.search('\d','a1b3cade').group()
Out[12]: '1'
In [61]: re.search('^\d','a1b3cade') # 以'^'开头的正则表达式可用于 search() ,限制必须从字符串开头匹配,此时作用类似于match()
In [62]: re.search('\d','a1b3cade')
Out[62]: <re.Match object; span=(1, 2), match='1'>
re.compile(pattern, flags=0)
将正则表达式模式编译为正则表达式对象,可用于 match()
,search()
以及其他re模块的方法进行正则匹配。
In [1]: import re
In [14]: reg = re.compile(r'[\d]+')
In [16]: re.match(reg,'12asd23').group()
Out[16]: '12'
In [17]: re.search(reg,'asd23').group()
Out[17]: '23'
re.fullmatch(pattern, string, flags=0)
如果整个字符串与正则表达式模式匹配,则返回相应的 match 对象。如果字符串与模式不匹配,则返回None。
In [1]: import re
In [25]: re.fullmatch('\w+','abcade%')
In [26]: re.fullmatch('\w+','abcade')
Out[26]: <re.Match object; span=(0, 6), match='abcade'>
re.split(pattern, string, maxsplit=0, flags=0)
通过出现模式来拆分字符串。
In [1]: import re
In [28]: re.split(r'\W+', 'Words, words, words.')
Out[28]: ['Words', 'words', 'words', '']
In [29]: re.split(r'(\W+)', 'Words, words, words.') # 如果在 pattern 中使用了捕获括号,那么模式中所有组的文本也将作为结果列表的一部分返回
Out[29]: ['Words', ', ', 'words', ', ', 'words', '.', '']
In [30]: re.split(r'\W+', 'Words, words, words.', 1) # 如果 maxsplit 不为零,则最多会发生 maxsplit 分割,并将字符串的其余部分作为列表的最后一个元素返回
Out[30]: ['Words', 'words, words.']
In [31]: re.split('[a-f]+', '0a3B9', flags=re.IGNORECASE)
Out[31]: ['0', '3', '9']
In [32]: re.split(r'(\W+)', '...words, words...') # 如果分隔符在字符串的开头匹配,则结果将从空字符串开始。字符串的末尾也是如此
Out[32]: ['', '...', 'words', ', ', 'words', '...', '']
In [33]: re.split(r'\W+', '...words, words...')
Out[33]: ['', 'words', 'words', '']
In [34]: re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
Out[34]: ['', '', 'cd']
re.findall(pattern, string, flags=0)
以 string 列表形式返回 string 中 pattern 的所有非重叠匹配项。从左到右扫描该字符串,并以找到的顺序返回匹配项。如果该模式中存在一个或多个组,则返回一个组列表;否则,返回一个列表。如果模式包含多个组,则这将是一个元组列表。空匹配项包含在结果中。
In [1]: import re
In [35]: re.findall('a', 'This is a beautiful place!')
Out[35]: ['a', 'a', 'a']
re.finditer(pattern, string, flags=0)
返回一个迭代器,该迭代器在 string 类型的 RE 模式的所有非重叠匹配中产生匹配对象。 从左到右扫描该字符串,并以找到的顺序返回匹配项。空匹配项包含在结果中。
In [1]: import re
In [36]: re.finditer('a', 'This is a beautiful place!')
Out[36]: <callable_iterator at 0x111735750>
In [37]: res = re.finditer('a', 'This is a beautiful place!')
In [38]: [i.group() for i in res]
Out[38]: ['a', 'a', 'a']
re.sub(pattern, repl, string, count=0, flags=0)
返回 用 repl 替换字符串中最左边的不重叠模式所获得的字符串。如果找不到该模式,则返回的字符串不变。 repl 可以是字符串或函数;如果是字符串,则处理其中的任何反斜杠转义。即,将其转换为单个换行符,将其转换为回车,依此类推。count 参数表示将匹配到的内容进行替换的次数
In [1]: import re
In [43]: re.sub(r'\r', r'\\r', 'GET HTTP/1.1\n200 OK\n')
Out[43]: 'GET HTTP/1.1\n200 OK\n'
In [44]: re.sub(r'\n', r'\\n', 'GET HTTP/1.1\n200 OK\n')
Out[44]: 'GET HTTP/1.1\\n200 OK\\n'
In [47]: re.sub(r'\\n', r'\\\\n', r'GET HTTP/1.1\n200 OK\n')
Out[47]: 'GET HTTP/1.1\\\\n200 OK\\\\n'
In [48]: re.sub('\d', 'S', 'abc12jh45li78', 2) #将匹配到的数字替换成S,替换2个
Out[48]: 'abcSSjh45li78'
In [49]: re.sub('\d', 'S', 'abc12jh45li78') #将匹配到所有的数字替换成S
Out[49]: 'abcSSjhSSliSS'
re.subn(pattern, repl, string, count=0, flags=0)
执行与相同的操作 sub(),但返回一个元组(new_string, number_of_subs_made)
。
In [1]: import re
In [50]: re.subn('\d', 'S', 'abc12jh45li78', 3)
Out[50]: ('abcSSjhS5li78', 3)
re.escape(pattern)
得到字符串的原始表现形式。
In [1]: import re
In [55]: re.escape('GET HTTP/1.1\n200 OK\n')
Out[55]: 'GET\\ HTTP/1\\.1\\\n200\\ OK\\\n'