lexical-analysis

    3熱度

    1回答

    如何在Scala分析器組合器中結合Regexp和關鍵字

    我見過兩種在Scala中構建分析器的方法。 第一個是從RegexParsers擴展並定義你贏得的詞彙模式。我看到的問題是，我不太瞭解它如何處理關鍵字歧義。例如，如果我的關鍵字與ident匹配相同的模式，那麼它會將關鍵字處理爲idents。 爲了解決這個問題，我看到類似this one這樣的帖子展示瞭如何使用StandardTokenParsers指定關鍵字。但是，我不明白如何指定正則表達式模式！是
    parsing scala keyword lexical-analysis lexical 2010-09-22

    4熱度

    1回答

    在ocamllex中返回多個標記

    是否有任何方法可以在OCamlLex中返回多個標記？ 我正在嘗試爲基於縮進的語言編寫詞法分析器和解析器，並且我希望我的詞法分析器在注意到縮進級別小於之前的值時返回多個DEDENT標記。這將允許它在多個塊結束時通知解析器。 通過以下這種方法，我將能夠使用INDENT和DEDENT作爲直接替代了BEGIN和END，因爲這兩個標記將由INDENT和DEDENT令牌暗示。
    ocaml lexical-analysis ocamllex ocamlyacc 2010-08-09

    2熱度

    2回答

    Antlr3匹配lexeme變體

    我試圖匹配英文輸入文本中的測量，使用Antlr 3.2和Java1.6。我有詞法規則如下所示： fragment MILLIMETRE : 'millimetre' | 'millimetres' | 'millimeter' | 'millimeters' | 'mm' ; MEASUREMENT : MILLIMETRE | CENTIM
    antlr antlr3 lexical-analysis 2010-09-29

    10熱度

    4回答

    我如何才能從語料庫中找到'有趣'的單詞？

    我正在解析句子。我想知道每個句子的相關內容，這些內容大致被定義爲與語料庫其餘部分有關的「半獨特詞彙」。類似亞馬遜的「統計不可思議的短語」，似乎（通常）通過古怪的字串來表達一本書的性格。 我的第一遍是開始製作一個常用詞彙列表。這淘汰了像a,the,from等簡單的東西。顯然，事實證明，這個清單變得相當長。 一種想法是來生成該列表：使語料庫詞頻的直方圖，並割斷前10％或類似的東西（IE the發生70
    algorithm parsing language-agnostic lexical-analysis 2010-08-13

    1熱度

    3回答

    如何解析一個公式在C＃中建立一棵樹？

    如果我有一個公式： A = 2+3*5-6/3+2 我怎麼能建立的公式與節點的一棵樹，那麼我可以很容易地根據自下而上的樹，從左到右計算結果。 有人請提供所需解析器或一些參考的樣本？
    c# lexical-analysis 2011-01-14

    16熱度

    1回答

    ANTLR中解析器規則和詞法分析器規則的實際區別？

    我理解其背後的理論分離的語法規則和詞法規則的理論，但什麼是這兩個語句之間的ANTLR的實際差異：不同的AST樹 my_rule: ... ; MY_RULE: ... ; 難道他們的結果？不同的表現？潛在的歧義？
    parsing antlr lexical-analysis 2010-11-28

    0熱度

    1回答

    如何使用JRuby的org.jruby.lexer.yacc.RubyYaccLexer

    我正在使用ripper來做mri-1.9中的ruby-code lexing *，我想在JRuby中做同樣的事情，我注意到有這個在org.jruby.parser.DefaultRubyParser中使用org.jruby.lexer.yacc.RubyYaccLexer，我想我可以用它來做mri-1.9。*中的ripper，但是與ripper 。作爲java中的noob，我無法弄清楚如何在jru
    jruby lexical-analysis 2010-08-30

    0熱度

    1回答

    Javascript編譯器/ Lexer

    我正在尋找免費的開源Javascript/ECMAScript編譯器或詞法分析器，以便將JavaScript代碼編譯爲可在Linux上運行的可執行文件。 我知道我可能需要爲javascript代碼添加一些對象/ API才能在O/S內執行操作。我希望有一些工作已經完成了。 任何指針的人？謝謝！
    compiler-construction javascript lexical-analysis 2010-09-01

    1熱度

    3回答

    如何檢測簡歷弱勢/個人信息的程序（由/語法分析的方法分析等）

    爲了讓事情更具體： 如何檢測人的名字（好像命名的簡單情況實體提取？） 如何檢測地址：我最好的猜測 - 找到郵政編碼（正則表達式）;國家和城鎮的名稱，並在他們周圍採取一些文字。 至於電話，電子郵件 - 他們可以通過各種正規表達式+預處理 在這一點上不要在乎教育/工作經驗可能陷入 推理： 爲了建立一個全文索引在簡歷中，所有易受攻擊的信息都應該從這些信息中刪除。 P.S.任何第三方API /服務都不會成
    algorithm syntax machine-learning analysis lexical-analysis 2010-09-01

    0熱度

    3回答

    C python中的詞法分析器

    我使用python創建了一個C語法分析器，作爲開發解析器的一部分。在我的代碼中，我編寫了一些識別關鍵字，數字，運算符等的方法。編譯後沒有顯示錯誤。執行時，我可以輸入.c文件。我的輸出應該列出輸入文件中的所有關鍵字，標識符等。但它沒有顯示任何東西。任何人都可以幫助我。該代碼已附加。 import sys import string delim=['\t','\n',',',';','(',')'
    python parsing lexical-analysis 2010-10-22
最新問題