o Ti@s\dZddlmZGdddeZGdddeZeZeeeeddZ d d Z d S) u最大正向匹配分词) PHRASES_DICTc@s*eZdZdZd ddZddZddZd S) Segu正向最大匹配分词 :type prefix_set: PrefixSet :param no_non_phrases: 是否严格按照词语分词，不允许把非词语的词当做词语进行分词 :type no_non_phrases: bool FcCs||_||_dSN) _prefix_set_no_non_phrases)self prefix_setno_non_phrasesr F/home/ubuntu/.local/lib/python3.10/site-packages/pypinyin/seg/mmseg.py__init__s z Seg.__init__ccs|}|rrd}tt|D]J}|d|d}||jvr|}q |r4|jr(|tvr4|Vd}||d}n |jrI|dV||dt|d}n |V||dd}d}n|jri|tvri|D]}|VqadS|VdS|sdSdS)uU分词 :param text: 待分词的文本 :yield: 单个词语 Nr)rangelenrrr)rtextremainmatchedindexwordxr r r cuts:   zSeg.cutcCs|j|dS)u<训练分词器 :param words: 词语列表 N)rtrain)rwordsr r r rCsz Seg.trainN)F)__name__ __module__ __qualname____doc__r rrr r r r rs   1rc@s$eZdZddZddZddZdS) PrefixSetcCs t|_dSr)set_set)rr r r r Ls zPrefixSet.__init__cCs8|D]}tt|D]}|j|d|dq qdS)uw更新 prefix set :param word_s: 词语库列表 :type word_s: iterable :return: None Nr)rrr!add)rword_srrr r r rOs zPrefixSet.traincCs ||jvSr)r!)rkeyr r r __contains__[s zPrefixSet.__contains__N)rrrr rr%r r r r rKs rT)r cCs|tdS)u重新使用内置词典训练 seg_instance。 比如在增加自定义词语信息后需要调用这个模块重新训练分词器 :type seg_instance: Seg N)rrkeys) seg_instancer r r retrainusr(N) rpypinyin.constantsrobjectrrp_setrr&segr(r r r r s E