یادگیری درخت تصمیم: تفاوت میان نسخه‌ها
محتوای حذف‌شده محتوای افزوده‌شده
Pirehelokan (بحث | مشارکتها) جز به انگلیسی |
Pirehelokan (بحث | مشارکتها) ←متریک‌ها: تکمیل فرمول آنتروپی |
||
خط ۱:
'''یادگیری درخت تصمیم''' {{به انگلیسی|Decision tree learning}} گروهی از الگوریتم‌های یادگیری ماشین هستند که در [[طبقه‌بندی آماری]] کاربرد دارند.<ref name=":2">{{یادکرد کتاب|عنوان=Provost, F., & Fawcett, T. (2013). Data Science for Business: What you need to know about data mining and data-analytic thinking. " O'Reilly Media, Inc.".|نام خانوادگی=|نام=|ناشر=|سال=|شابک=|مکان=|صفحات=}}</ref> درخت‌های تصمیم به گروه الگوریتم‌های [[یادگیری تحت نظارت]] تعلق دارند و بیشتر آنها بر اساس حداقل‌سازی کمیتی به نام آنتروپی ساخته می‌شوند. هرچند توابع دیگری برای ساخت درخت تصمیم وجود دارند.<ref name=":12" /><ref>{{یادکرد کتاب|عنوان=T. Hastie, R. Tibshirani, and J. Friedman, “The Elements of Statistical Learning,” Bayesian Forecast. Dyn. Model., vol. 1, pp. 1–694, 2009..|نام خانوادگی=|نام=|ناشر=|سال=|شابک=|مکان=|صفحات=}}</ref> نمونه‌های قدیمی درخت تصمیم تنها قادر به استفاده از متغیرهای گسسته بودند، اما الگوریتم‌های جدیدتر هردو نوع متغیر گسسته و پیوسته را در یادگیری به کار می‌برند.<ref name=":12" /><ref name=":1">{{یادکرد ژورنال|عنوان=X. Wu et al., “Top 10 algorithms in data mining,” Knowl. Inf. Syst., vol. 14, no. 1, pp. 1–37, 2008.|ژورنال=|ناشر=|تاریخ=|زبان=|شاپا=|doi=|پیوند=|تاریخ دسترسی=}}</ref>
== انواع درخت تصمیم ==
* ID3 که تنها قادر به یادگیری بر اساس متغیرهای گسسته است.<ref name=":1" />
خط ۱۳:
= - \sum^{J}_{i=1} {p_i \log_2 p_i}</math>
که در آن <math>p_1, p_2, ...</math> کسرهایی هستند که مجموعشان برابر با ١ است و نشانگر درصد‌های هر کلاس در
بدین ترتیب افزایش اطلاعات حاصل در سیستم از تقسیم یک گره به صورت تفریق آنتروپی سیستم پیش و پس از تقسیم (یعنی آنتروپی والد منهای آنتروپی فرزند) به شکل زیر محاسبه می‌شود:
<math display="block"> \overbrace{IG(T,a)}^\text{Information Gain}
= \overbrace{\Eta(T)}^\text{Entropy (parent)}
- \overbrace{\Eta(T|a)}^\text{Weighted Sum of Entropy (Children)} </math><math>=-\sum_{i=1}^{J}p_i\log_2{p_i} - \sum_{a}{p(a)\sum_{i=1}^{J}-\Pr(i|a)\log_2{\Pr(i|a)}}</math>
<br />
== منابع ==
{{پانویس}}
| |||