当前位置： 移动技术网 > IT编程>脚本编程>Python > 利用Python将文本中的中英文分离方法

利用Python将文本中的中英文分离方法

2018年11月05日  | 移动技术网IT编程  | 我要评论

宋雅娟扮演者,南唐雄风,首都之窗违章查询

在进行文本分析、提取关键词时，新闻评论等文本通常是中英文及其他语言的混杂，若不加处理直接分析，结果往往差强人意。

下面对中英文文本进行分离做一下总结：

1、超短文本，ascii识别。

s = "china's legend holdings will split its several business arms to go public on stock markets, the group's president zhu linan said on tuesday.该集团总裁朱利安周二表示，中国联想控股将分拆其多个业务部门在股市上市。"
result = "".join(i for i in s if ord(i) < 256)
print(result)
out:
china's legend holdings will split its several business arms to go public on stock markets, the group's president zhu linan said on tuesday.

2、unicode编码识别

import re
s = "china's legend holdings will split its several business arms to go public on stock markets, the group's president zhu linan said on tuesday.该集团总裁朱利安周二表示，中国联想控股将分拆其多个业务部门在股市上市。"
uncn = re.compile(r'[\u0061-\u007a,\u0020]')
en = "".join(uncn.findall(s.lower()))
print(en)
out:
chinas legend holdings will split its several business arms to go public on stock markets, the groups president zhu linan said on tuesday

中文的编码范围是：\u4e00-\u9fa5，相应的[^\u4e00-\u9fa5]可匹配非中文。

匹配英文时，需要将空格[\u0020]加入，不然单词之间没空格了。

以上这篇利用python将文本中的中英文分离方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持移动技术网。

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网