从品牌网站建设到网络营销策划,从策略到执行的一站式服务
这篇文章主要介绍“Python怎么使用Spacy进行分词”,在日常操作中,相信很多人在Python怎么使用Spacy进行分词问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python怎么使用Spacy进行分词”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
创新互联公司2013年成立,是专业互联网技术服务公司,拥有项目网站设计制作、网站设计网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元青阳做网站,已为上家服务,为青阳各地企业和个人服务,联系电话:13518219792
说明
1、Spacy语言模型包含一些强大的文本分析功能,如词性标记和命名实体识别。
2、导入spacy相关模块后,需要加载中文处理包。然后读小说数据,nlp处理天龙八部小说,包括分词、定量、词性标注、语法分析、命名实体识别,用符号/分隔小说。最后,通过is_stop函数判断单词中的单词是否为无效单词,删除无效单词后,将结果写入txt文件。
实例
import spacy import pandas as pd import time from spacy.lang.zh.stop_words import STOP_WORDS nlp = spacy.load('zh_core_web_sm') def fenci_stopwords(data,newdata1): fenci = [] qc_stopwords =[] article = pd.read_table(data,encoding="utf-8") start1 = time.time() with open(newdata1,'w',encoding='utf-8') as f1: for i in article["天龙八部"]:#分词 doc = nlp(i) result1 = '/'.join([t.text for t in doc]) fenci.append(result1) for j in fenci:#去除停用词 words = nlp.vocab[j] if words.is_stop == False: qc_stopwords.append(j) result2 = '/'.join(qc_stopwords) f1.write(result2) end1 = time.time() return end1-start1
到此,关于“Python怎么使用Spacy进行分词”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图