詞法分析器

詞法分析器

詞法分析器又稱掃描器。是指將我們編寫的文本代碼流解析為一個一個的記號,分析得到的記號以供後續語法分析使用。詞法分析器的工作是低級別的分析:將字元或者字元序列轉化成記號.。

詞法分析器又稱掃描器。詞法分析是指將我們編寫的文本代碼流解析為一個一個的記號,分析得到的記號以供後續語法分析使用。詞法分析器的工作是低級別的分析:將字元或者字元序列轉化成記號.。在談論詞法分析時,使用術語“詞法記號”(簡稱記號)、“模式”和“詞法單元”表示特定的含義。
在分析時,一是把詞法分析器當成語法分析的一部分,另一種是把詞法分析器當成編譯程式的獨立部分。在前一種情況下,詞法分析器不斷地被語法分析器調用,每調用一次詞法分析器將從源程式的字元序列拼出一個單詞,並將其Token值返回給語法分析器。後一種情況則不同,詞法分析器不是被語法分析器不斷地調用,而是一次掃描全部單詞完成編譯器的獨立一遍任務。
詞法分析器主要特點是不依靠語法,而只依靠詞法,即處理一個單詞時不依賴於外部單詞的信息,因此詞法分析器一般都很簡單。當然,對某些語言在作詞法分析時,在有些情況下不得不往前查看多個字元,有時還要做一些特殊處理,還有一些在詞法分析中處理不了的,要留到語法分析中進行處理。
本算法主要利用狀態轉換圖生成一個詞法分析器,對輸入的程式進行詞法分析,並將分析得到的單詞造表。其中關鍵字表和界限符表的大小是由高級語言的子集決定的,可以用數組裝載;而標識符表和常數表的大小取決於輸入的待分析程式中的變數、過程名、常數的個數,所以要用指針組成動態鍊表來裝載。當為未了方便,我們也把它定義成數組處理。
語法分析時,調用詞法分析器,根據已知文法利用遞歸向下分析,檢查語法錯誤。

相關搜尋

熱門詞條

聯絡我們