تحلیل واژگانی: تفاوت میان نسخه‌ها
محتوای حذف‌شده محتوای افزوده‌شده
نجات ۱ منبع و علامت‌زدن ۰ به‌عنوان مرده.) #IABot (v2.0 |
جز Bot: Replace deprecated <source> tag and "enclose" parameter [https://lists.wikimedia.org/pipermail/wikitech-ambassadors/2020-April/002284.html] |
||
خط ۷۴:
این رشته به‌طور ضمنی بر روی فضاها بخش‌بندی نشده، همان کاری که یک گویندهٔ طبیعی زبان انجام می‌دهد. ورودی خام که ۴۳ کاراکتر است باید به‌طور ضمنی به وسیله جداکنندهٔ فاصله (فضای خالی یا <code>" "</code> یا عبارت منظم <code>/\s{1}/</code>) به ۹ تا توکن تقسیم شود.
توکن‌ها می‌توانند در [[XML]] نمایش داده شوند،<syntaxhighlight lang="text">
<sentence>
<word>The</word>
خط ۸۶:
<word>dog</word>
</sentence>
</syntaxhighlight>یا به صورت یک [[s-expression]] نمایش داده می‌شوند،<syntaxhighlight lang="text">
(sentence
(word The)
خط ۱۱۷:
به عنوان مثال ف در این کد منبع یک برنامهٔ کامپیوتری، رشتهٔ <blockquote><code>;(net_worth_future= (assets - liabilities</code></blockquote>ممکن است به جریان توکن‌های lexical زیر تبدیل شود؛ فضاهای خالی نادیده گرفته شده‌اند و کاراکترهای خاص مقداری ندارند:
<syntaxhighlight lang="text">
NAME net_worth_future
EQUALS
| |||