ویکی‌پدیا

تحلیل واژگانی: تفاوت میان نسخه‌ها

نمایش تاریخچه به صورت تعاملی
→ تفاوت قدیمی‌ترتفاوت جدیدتر ←
محتوای حذف‌شده محتوای افزوده‌شده
دیداریویکی‌متن
FreshmanBot (بحث | مشارکت‌ها)
ربات‌ها
۱۳۳٬۲۴۲ ویرایش‌ها
جز ←‏اسکنر: اصلاح فاصله مجازی + اصلاح نویسه با ویرایشگر خودکار فارسی
خط ۱۵۴:
[https://dev.havenondemand.com/apis/tokenizetext#overview HPE Haven OnDemand Text Tokenization API] (یک محصول تبلیغاتی با دسترسی رایگان) از مدل‌سازی مفهوم احتمالات پیشرفته استفاده می‌کند تا وزنی که جمله در شاخص متن مشخص شده، دارد را تعیین کند.
 
ابزار [[Lex (software)لکس|Lex]] و کامپایلر آن طراحی شده‌اند تا کد را برای تحلیل لغوی سریعتر بر مبنای یک توصیف رسمی از نحو لغوی تولید کنند؛ که این عموماً برای برنامه‌هایی که مجموعه‌ای پیچیده از قوانین نحوی و نیازمندی‌های عملکردی شدید دارند، ناکافی در نظر گرفته می‌شود. به عنوان مثال، ([[GNU Compiler Collection]] (GCC از تحلیل گران لغوی دست نوشته استفاده می‌کند.
 
== مولد تحلیل گر لغوی (Lexer Generator) ==
برگرفته از «https://fa.wikipedia.org/wiki/تحلیل_واژگانی»