o Ti(L @sDdZdZddlZddlZddlZddlZz ddlmZddZWn e y-ddZYnwdd d d d d dddd Z dZ e Z da dadadadaiaedZedZedZedZedZe fddZddZddZd0dd Zd!d"Zd1d#d$Zd1d%d&Zd1d'd(Z d1d)d*Z!d1d+d,Z"d-d.Z#e$d/kre#dSdS)2u This module implements a simple conversion and localization between simplified and traditional Chinese using tables from MediaWiki. It doesn't contains a segmentation function and uses maximal forward matching, so it's simple. For a complete and accurate solution, see OpenCC. For Chinese segmentation, see Jieba. >>> print(convert('我幹什麼不干你事。', 'zh-cn')) 我干什么不干你事。 >>> print(convert('人体内存在很多微生物', 'zh-tw')) 人體內存在很多微生物 Support MediaWiki's convertion format: >>> print(convert_for_mw('在现代，机械计算-{}-机的应用已经完全被电子计算-{}-机所取代', 'zh-hk')) 在現代，機械計算機的應用已經完全被電子計算機所取代 >>> print(convert_for_mw('-{zh-hant:資訊工程;zh-hans:计算机工程学;}-是电子工程的一个分支，主要研究计算机软硬件和二者间的彼此联系。', 'zh-tw')) 資訊工程是電子工程的一個分支，主要研究計算機軟硬體和二者間的彼此聯繫。 >>> print(convert_for_mw('張國榮曾在英國-{zh:利兹;zh-hans:利兹;zh-hk:列斯;zh-tw:里茲}-大学學習。', 'zh-sg')) 张国荣曾在英国利兹大学学习。 z1.4.3N)resource_streamcGstttjj|SN)r__name__ospathjoinresr A/home/ubuntu/.local/lib/python3.10/site-packages/zhconv/zhconv.py"sr cGs0ttjtjjttjtg|RdS)Nrb)openrrnormpathrgetcwddirname__file__rr r r r $s  )zh-cnzh-hanszh-sgzh)zh-hkzh-hantzh-twr)rrrr)rrrr)zh-myrrrr)zh-morrrr)rrrr)rrrr)r) rrrrrrrrrz zhcdict.jsonz (-\{|\}-)z\s*\|\s*z\s*;\s*z\s*=>\s*z\s*:\s*cCstrdS|tkrtt|dant|d}t|daWdn1s/wYttdtd<ttdtd<dS)z8 Load the dictionary from a specific JSON file. Nutf-8r SIMPONLYTRADONLY) zhcdicts _DEFAULT_DICTjsonloadsget_module_resreaddecoder frozenset)filenamefr r r loaddictDs r)cCs(tdurtt|dkr!trt}nwtdattdt}ng|dkr:tr*t}n^tdattdt}nN|dksB|d krWtrGt}nAtdattd t}n1|d ks_|d krttrdt}n$tdattd t}n|dkr}td}n |dkrtd}ni}|t vrt |t |<|S)zj Generate or get convertion dict cache for certain locale. Dictionaries are loaded on demand. Nrzh2Hanszh2CNrzh2Hantzh2TWrrzh2HKrrzh2SGrr) rr) DICTIONARY dict_zhcncopyupdate dict_zhtw dict_zhhk dict_zhsgpfsdictgetpfset)localegotr r r getdictSsD       r;cCs>g}|D]}tt|D] }||d|dq qt|S)N)rangelenappendr&)convdictpfsetwordchr r r r8s r8FcCstdurttd\}}|r6|D]}|tdvr|d7}q|tdvr'|d7}q||kr.dS||kr4dSdS|D]}|tdvrCdS|tdvrLdSq8dS)a Detect text is whether Simplified Chinese or Traditional Chinese. Returns True for Simplified; False for Traditional; None for unknown. If full=False, it returns once first simplified- or traditional-only character is encountered, so it's for quick and rough identification; else, it compares the count and returns the most likely one. Use `is` (True/False/None) to check the result. `s` must be unicode (Python 2) or str (Python 3), or you'll get None. N)rrrr<rTF)rr)r0)sfullsimptradrCr r r issimps,      rHcCs8t|D] }||vr||Sqtt|d|S)Nr)Localesconverttuplevalues)r9mappinglr r r fallbacks  rOcCs|r|ni}|D]=}d|vr||vr||||d<q |dddkr7||vr6|D]}||||<q-q t||}|D]}|||<q@q |S)uI Convert a list of conversion dict to a dict for a certain locale. >>> sorted(convtable2dict([{'zh-hk': '列斯', 'zh-hans': '利兹', 'zh': '利兹', 'zh-tw': '里茲'}, {':uni': '巨集', 'zh-cn': '宏'}], 'zh-cn').items()) [('列斯', '利兹'), ('利兹', '利兹'), ('巨集', '宏'), ('里茲', '利兹')] :uniNzzh-han)r2rLrO) convtabler9r3rdictrrBvr r r convtable2dicts     rVcCst|}t|}|r3|}||t}|D]}tt|D] }||d|dq q||B}g}t|}d} | |kr| } || } d} d} | |krm| |vrm| |vrY| } | } | d7} || | d} | |krm| |vsQ| durz|| } | d7} n| d} || | |ks?|S)zt Tokenize `s` according to corresponding locale dictionary. Don't use this for serious text processing. Nr<r) r;r7r2r3setr=r>addr?rDr9r3zhdictrAnewsetrBrCNposifragmaxwordmaxposr r r tokenizesB   rbcCsF|dks|tvr |St|}t|}t}|r3t}|D]}tt|D] }||d|dq$qg}t|}d} | |kr| } || } d} d} | |kr| |vsU| |vr|rb| |vrb|| } | } n | |vrl|| } | } | d7} || | d} | |kr| |vsU| |vsU| dur|| } | d7} n| d} || | |ks?d|S)u Main convert function. :param s: must be `unicode` (Python 2) or `str` (Python 3). :param locale: should be one of ``('zh-hans', 'zh-hant', 'zh-cn', 'zh-sg' 'zh-tw', 'zh-hk', 'zh-my', 'zh-mo')``. :param update: a dict which updates the conversion table, eg. ``{'from1': 'to1', 'from2': 'to2'}`` >>> print(convert('我幹什麼不干你事。', 'zh-cn')) 我干什么不干你事。 >>> print(convert('我幹什麼不干你事。', 'zh-cn', {'不干': '不幹'})) 我干什么不幹你事。 >>> print(convert('人体内存在很多微生物', 'zh-tw')) 人體內存在很多微生物 rNr<r) rIr;r7rWr=r>rXr?rrYr r r rJsH     rJc sg}g}|r |ni}d}d}t|D]}|dkr%|d7}||7}q|dkr|s2||q||7}|d8}|r=qg} t|ddd} t| dkr[d t| d} nt| ddt| d} i} | D]O} t| }t|dkrt |d}n| r| | d |di} n|d| d <t |d}t|dkrt |dd || d <qpt |d|d|| |d<qp| | s|t || dnt fd d dDrGD]_}|dvr"| D] }||vr||q|dkr!d |vr||vr |||q|t |d |q|t || dq|dkr?| D]}z||Wq)ty>Yq)wqt|||}nfttt|@}|rX|ni}|D]E}d |vrr||vrp||||d <q\d }t|D]}||vr||vr||}nqx|D]}|r|nt ||||<qq\|t | d||d}q|r||7}q|t |||q|r|t |d|||d|S)u  Recognizes MediaWiki's human conversion format. Use locale='zh' for no conversion. Reference: (all tests passed) https://zh.wikipedia.org/wiki/Help:高级字词转换语法 https://www.mediawiki.org/wiki/Writing_systems/Syntax >>> print(convert_for_mw('在现代，机械计算-{}-机的应用已经完全被电子计算-{}-机所取代', 'zh-hk')) 在現代，機械計算機的應用已經完全被電子計算機所取代 >>> print(convert_for_mw('-{zh-hant:資訊工程;zh-hans:计算机工程学;}-是电子工程的一个分支，主要研究计算机软硬件和二者间的彼此联系。', 'zh-tw')) 資訊工程是電子工程的一個分支，主要研究計算機軟硬體和二者間的彼此聯繫。 >>> print(convert_for_mw('張國榮曾在英國-{zh:利兹;zh-hans:利兹;zh-hk:列斯;zh-tw:里茲}-大学學習。', 'zh-hant')) 張國榮曾在英國里茲大學學習。 >>> print(convert_for_mw('張國榮曾在英國-{zh:利兹;zh-hans:利兹;zh-hk:列斯;zh-tw:里茲}-大学學習。', 'zh-sg')) 张国荣曾在英国利兹大学学习。 >>> convert_for_mw('-{zh-hant:;\nzh-cn:}-', 'zh-tw') == '' True >>> print(convert_for_mw('毫米(毫公分)，符號mm，是長度單位和降雨量單位，-{zh-hans:台湾作-{公釐}-或-{公厘}-;zh-hant:港澳和大陸稱為-{毫米}-（台灣亦有使用，但較常使用名稱為毫公分）;zh-mo:台灣作-{公釐}-或-{公厘}-;zh-hk:台灣作-{公釐}-或-{公厘}-;}-。', 'zh-tw')) 毫米(毫公分)，符號mm，是長度單位和降雨量單位，港澳和大陸稱為毫米（台灣亦有使用，但較常使用名稱為毫公分）。 >>> print(convert_for_mw('毫米(毫公分)，符號mm，是長度單位和降雨量單位，-{zh-hans:台湾作-{公釐}-或-{公厘}-;zh-hant:港澳和大陸稱為-{毫米}-（台灣亦有使用，但較常使用名稱為毫公分）;zh-mo:台灣作-{公釐}-或-{公厘}-;zh-hk:台灣作-{公釐}-或-{公厘}-;}-。', 'zh-cn')) 毫米(毫公分)，符号mm，是长度单位和降雨量单位，台湾作公釐或公厘。 >>> print(convert_for_mw('毫米(毫公分)，符號mm，是長度單位和降雨量單位，-{zh-hans:台湾作-{公釐}-或-{公厘}-;zh-hant:港澳和大陸稱為-{毫米}-（台灣亦有使用，但較常使用名稱為毫公分）;zh-mo:台灣作-{公釐}-或-{公厘}-;zh-hk:台灣作-{公釐}-或-{公厘', 'zh-hk')) # unbalanced test 毫米(毫公分)，符號mm，是長度單位和降雨量單位，台灣作公釐或公厘 >>> print(convert_for_mw('报头的“-{參攷消息}-”四字摘自鲁迅笔迹-{zh-hans:，“-{參}-”是“-{参}-”的繁体字，读音cān，与简体的“-{参}-”字相同；;zh-hant:，;}-“-{攷}-”是“考”的异体字，读音kǎo，与“考”字相同。', 'zh-tw')) 報頭的「參攷消息」四字摘自魯迅筆跡，「攷」是「考」的異體字，讀音kǎo，與「考」字相同。 >>> print(convert_for_mw('报头的“-{參攷消息}-”四字摘自鲁迅笔迹-{zh-hans:，“-{參}-”是“-{参}-”的繁体字，读音cān，与简体的“-{参}-”字相同；;zh-hant:，;}-“-{攷}-”是“考”的异体字，读音kǎo，与“考”字相同。', 'zh-cn')) 报头的“參攷消息”四字摘自鲁迅笔迹，“參”是“参”的繁体字，读音cān，与简体的“参”字相同；“攷”是“考”的异体字，读音kǎo，与“考”字相同。 >>> print(convert_for_mw('{{Col-break}}-->', 'zh-hant')) {{Col-break}}--> rrcz-{r<z}-z ;NrPrc3s|]}|vVqdSrr ).0rCflagr r qsz!convert_for_mw..zATRD-HN)AHrj-)r2 RE_langconvsplitr? RE_splitflagstripr> RE_splitmap RE_splituni RE_splitpairconvert_for_mwrOanyrJremove ValueErrorrVr&rIrLr)rDr9r3rCrulesruledictnestedblockr_newrulesdelimrMrulemunipairr(rTfblimitlimitedruledictrUrNrBr rgr rt$s                        rtcCsd}t|||S)Nuk英國-{zh:利兹;zh-hans:利兹;zh-hk:列斯;zh-tw:里茲}-大学 -{zh-hans:计算机; zh-hant:電腦;}- -{H|巨集=>zh-cn:宏;}- 测试：巨集、宏 -{简体字繁體字}- 北-{}-韓、北朝-{}-鲜 -{H|zh-cn:博客; zh-hk:網誌; zh-tw:部落格;}- 测试：博客、網誌、部落格 -{A|zh-cn:博客; zh-hk:網誌; zh-tw:部落格;}- 测试：博客、網誌、部落格 -{H|zh-cn:博客; zh-hk:網誌; zh-tw:部落格;}- 测试1：博客、網誌、部落格 -{-|zh-cn:博客; zh-hk:網誌; zh-tw:部落格;}- 测试2：博客、網誌、部落格 -{T|zh-cn:汤姆·汉克斯; zh-hk:湯·漢斯; zh-tw:湯姆·漢克斯;}- -{D|zh-cn:汤姆·汉克斯; zh-hk:湯·漢斯; zh-tw:湯姆·漢克斯;}- -{H|zh-cn:博客; zh-hk:網誌; zh-tw:部落格;}- 测试1：-{zh;zh-hans;zh-hant|博客、網誌、部落格}- 测试2：-{zh;zh-cn;zh-hk|博客、網誌、部落格}-)rt)r9r3rDr r r test_convert_mws rcCsttjdkrtjdtvrtjd}t}n0ttjdkr3tjddkr3tjdtvr3tjd}t}ntdkr9tnd}td|t dt tj }|r| d}tjd dkrat|d }|||}tjd dkrut|d nt|tj }|sPd Sd S) z( Simple stdin/stdout interface. rdr<z-w__main__zpython -mzhconvzLusage: %s [-w] {zh-cn|zh-tw|zh-hk|zh-sg|zh-hans|zh-hant|zh} < input > outputz rrN)r>sysargvrIrJrtrrprintexitr)stdinreadlinerstrip version_infounicodeencode)r9 convertfuncthisfilelnrNr r r r mains* *         rr)Fr)%__doc__ __version__rrrer! pkg_resourcesrr# ImportErrorrIr r0rr1r6r4r5r7compilermrorqrrrsr)r;r8rHrOrVrbrJrtrrrr r r r sd           . "   % 9