تحلیل واژگانی: تفاوت میان نسخه‌ها

lexerها و پارسرها غالباً برای کامپایلرها استفاده می‌شوند، ولی می‌توانند به عنوان ابزار برای سایر زبان‌های کامپیوتر مورد استفاده قرار گیرند، مانند [[Prettyprint|prettyprintersprettyprint]]ers و [[Lint (software)|linters]].

مورد دوم: در برخی از کاربردهای تحلیل گر لغوی، commentها و فضاهای خالی باید حفظ شوند. به عنوان مثال، یک [[Prettyprint|prettyprinterprettyprint]]er نیز نیاز دارد که به عنوان خروجی کامنت‌ها و برخی ابزار debugging را که ممکن است پیامی را برای برنامه‌نویس داشته باشد (با نمایش سورس کد اصلی) نمایش دهد.

این رشته به طور ضمنی بر روی فضاها بخش بندی نشده ، همان کاری که یک گوینده ی طبیعی زبان انجام می دهد. ورودی خام که 43 کاراکتر است باید به طور ضمنی به وسیله جداکننده ی فاصله(فضای خالی یا <code>" "</code> یا عبارت منظم <code>/\s{1}/</code> ) به 9 تا توکن تقسیم شود.

توکن ها براساس قوانین مشخصی از Lexer معرفی(شناسایی) می شوند. برخی از متدهایی که برای شناسایی توکن ها به کاربرده می شوند ، شامل : عبارات منظم ، توالی مشخصی از کاراکترها که [[Flag (computing)|flag]] نامیده میشوند ،کاراکترهای جدا کننده ی خاصی که جدا کننده ([[Delimiter|delimitersdelimiter]]s) نامیده می شوند ، و تعریف صریح به وسیله ی یک دیکشنری. کاراکترهای خاص مانند کاراکترهای علامت گذاری، به خاطر استفاده ی طبیعی آنها در نوشتن و زبان های برنامه سازی ، معمولا توسط lexer برای شناسایی توکن ها استفاده می شوند.

در مرحله اول، اسکنر، معمولاً مبتنی بر یک [[ماشین‌های حالات متناهی|ماشین حالت متناهی]] است که با استفاده از اطلاعات کاراکترهایی با توالی ممکن کدگذاری شده است که این کاراکترها می‌توانند هر یک از توکن‌ها مورد استفاده باشد. به عنوان مثال، یک توکن عدد صحیح می‌تواند دارای هر توالی از ارقام باشد.در بسیاری از نمونه ها اولین کاراکتری که فضای خالی نباشد، می تواند برای استنباط نوع توکن بعدی مورداستفاده قرار گیرد و زیردنباله ی کارکترهای ورودی بعد از آن در یک زمان پردازش می شوند تاوقتی که به کاراکتری برسد که که در مجموعه ی کاراکترهای قابل قبول برای توکن ها نباشد (که اصطلاحا این عمل ، قانون حداکثر جویدن یا طولانی ترین تطبیق نامیده می شود). در بسیاری از زبان ها قانین تولید واژه بسیار پیچیده تر است و ممکن است درگیر عقب گرد برروی کاراکترهای خوانده شده ی قبلی شود. به عنوان مثال در C تنها یک کاراکتر 'L' برای تمایز قائل شدن بین یک شناسه که با 'L' شروع می شود و یک کاراکتر از یک رشته کافی نیست.

معمولا توکن سازی در سطح کلمه (word) انجام می گیرد. اگرچه ، گاهی اوقات

توکن سازی خصوصا برای زبان های نوشته شده در  [[scriptio continua]] دشوار است ، که محدودیت های کلمه را نمایش نمی دهند، مانند یونانی باستان، چینی، یا تایلندی. زبان های ترکیبی مانند کره ای نیز توکن سازی را دشوار می کنند.

برخی از راه ها برای آدرس دهی به مسائل دشوارتر شامل توسعه ی تخمین های پیچیده ی بیشتر، پرس جوی یک جدول از موارد خاص متداول، یا مناسب کردن توکن ها برای یک مدل زبان که ترتیب را در گام های پردازش بعدی تشخیص می دهد.

بسیاری از زبان ها از نقطه ویرگول برای پایان جمله استفاده می کنند .که اغلب اجباری است،اما در بعضی زبان ها استفاده از نقطه ویرگول در متن اختیاری است. این کار در مرحله lexerصورت می گیرد. جایی که  lexer یک نقطه ویرگول را به جریانی از توکن ها تبدیل می کند ، با این وجود در جریان ورودی کاراکترها آماده نیست ف که درج نقطه ویرگول یا درج خودکار نقطه ویرگول نامیده می شود. در این مورد،نقطه ویرگول یک عبارت نرمال گرامی از زبان هست، اما ممکن است که به عنوان ورودی نباشد که تحلیل گر لغوی آن را اضافه می کند. نقطه ویرگول اختیاری است یا پایان دهنده یا این که بعضی اوقات به عنوان جداکننده از مرحله ی تجزیه به کار می رود، به ویژه در مورد کامای انتهایی( [[Trailingtrailing comma|trailing commas]]s ) یا نقطه ویرگول.

 درج نقطه ویرگول یکی از خصوصیات BCPL و یکی از نسل های دور در Go می باشد. هر چند در B  یا C  وجود ندارد. درج نقطه ویرگول در JavaScript وجود دارد،اگر قوانین پیچیده و مورد انتقاد قرار بگیرند ، برای جلوگیری از مشکلات ، استفاده از نقطه ویرگول توصیه می شود، در حالی که دیگران نقطه ویرگول اولیه، نقطه ویرگول دفاعی، را عمدتا در عبارات مبهم به کار می برند.   

درج نقطه ویرگول(در زبان هایی که نقطه ویرگول به معنای پایان عبارت است) و ادامه ی خط ( در زبان هایی که خط جدید به معنای پایان عبارت است) مکمل یکدیگرند . درج نقطه ویرگول به عنوان یک توکن اضافه می شود، اگرچه خط جدید به طور کلی توکن ایجاد نکند، و یا ادامه ی خط مانع از ایجاد توکن شود و حتی اگر خط جدید به طور کلی توکن ایجاد کند.