令牌後綴樹教程

Question

有人可以指向關於 - 「令牌後綴樹」的教程。

Answer 1

從Google搜索同一個短語並掃描第一對結果，我的猜測是他們正在討論一個後綴樹，其中「字母」（或「字符」或「元素」）不是單獨的ASCII或我們習慣使用UNICODE字符，而是來自某種計算機語言的詞彙標記。

因此，例如，對於C，您將有一個名爲int的「字母」，另一個字母爲(，依此類推。我不確定具體的令牌是如何處理其他令牌的子序列的（例如+是++的子序列），但我的猜測是他們的處理方式與詞法分析器處理它們的方式相同， C至少）通過總是貪婪地構建最長的令牌（所以例如5個輸入字符+++++將被解爲++,++,+）。

Answer 2

不知道它是你在找什麼，但是你的問題讓我想起了我所知道的'單詞後綴樹'，例如， http://www.larsson.dogma.net/words-alg.pdf