是否有一個Python或PHP庫，它可以Tokenise和轉換日文文本

Question

由於可以包含Japanse和英文文本字符串，我想：

1. 轉換從平假名日本部分片假名和半角到全寬。
2. 斯普利特我目前使用的優良的iOS/OS X串庫（其中應付數以百計的複雜性和邊緣的情況下），用文字字符串（Japanse文本不使用空格分隔單詞）

。

CFStringTransform與kCFStringTransformHiraganaKatakana不變。

enumerateSubstringsInRange:options:usingBlock:與NSStringEnumerationByWords不變。

搜索正在從客戶端移動到服務器，因此我們需要這些方法的PHP或Python版本。

Answer 1

也許nltkjp或tiny segmenter，與nltk， 日本語料庫都兼容機，您可以訪問網站Masato Hagiwara。