تحلیل واژگانی: تفاوت میان نسخه‌ها

قوانین off-side (بلوک های تعیین شده توسط تورفتگی) را در lexer  می توان پیاده سازی کرد، مانند پایتون ، که افزایش فرورفتگی ها نتیجه ی بیرون ریختن INDENT توکن ها در lexer  است ، و کاهش فرورفتگی ها نتیجه ی بیرون ریختن DEDENT توکن ها در lexer  می باشد.این توکن ها مربوط به باز کردن آکولاد <code>{</code> و بستن آکولاد  <code>}</code> در زبان هایی است که از آکولاد برای بلاک ها استفاده می کنند. این بدان معناست که عبارت دستور زبان به این که آکولاد یا فرورفتگی استفاده می شود بستگی ندارد. مستلزم آن است که حالت lexer را نگه دارد، یعنی سطح تورفتگی فعلی ، در نتیجه می تواند زمانی که تغییرات فرورفتگی شناسایی شود تغییر دهد، در نتیجه دستورزبان واژگانی مستقل از متن نیست :INDENT-DEDENT ، به اطلاعات متن که از فررفتگی قبلی می گیرد بستگی دارد.

 

به طورکلی گرامرهای لغوی ، مستقل از متن هستند، یا تقریبا هستند، که نیازی به نگاه به عقب یا جلو، یا برگشت به عقب(backtracking)  هستند، که پیاده سازی ساده ، تمیز و کارآمد را امکان پذیر می کند. هم چنین یک ارتباط یک طرفه از تحلیل گر لغوی به تجزیه کننده ،بدون نیاز به برگشت اطلاعات را ممکن می سازد.