تاریخچه استفاده از کارت‌های رنگی به عنوان زبان بیطرفی توسط داوران به داور انگلیسی کن آستون باز می‌گردد. آستون بابت این ایده از طرف فیفا تشویق شد و به عضویت کمیته داوران جام جهانی ۱۹۹۶ منصوب شد.
در یک-چهارم نهایی بازی بین انگلیس و [[آرژانتین]] در ورزشگاه [[ومبلی]] برگزار شد. داور مسابقه رادولف کریتلین برادرانبه رادولفبرادران راچارلتون اخطار داد و همچنین انتونیو راتین آرژانتینی را نیز از بازی اخراج کرد. این در حالی بود که داور تصمیم خود را قطعی نکرده بود. این ماجرا جرقه‌ای بود برای آستون تا به فکر چاره‌ای باشد تا تصمیمات داور را برای بازیکنان دو تیم و همچنین تماشاگران روشن تر کند. آستون متوجه شد که همانند کدبندی رنگ‌ها در چراغ راهنمایی (زرد=اخطار و قرمز=ایست) می‌توان زبانی را برایروشنتر کردن تصمیمات داوران به وجود آورد. و نتیجه آن رنگ زرد برای اخطار بازیکن و رنگ قرمز برای اخراج بازیکن انتخاب شد. که از این کدبندی رنگ‌ها اولین بار در جام جهانی ۱۹۷۰ مکزیک استفاده شد. استفاده از کارت‌های جریمه علاوه بر فوتبال در ورزش‌های دیگر نیز توسط قوانین مربوط به آنها نستفاده می‌شود.
