تاریخچه استفاده از کارت‌های رنگی به عنوان زبان بیطرفی توسط داوران به داور انگلیسی کن آستون باز می‌گردد. آستون بابت این ایده از طرف فیفا تشویق شد و به عضویت کمیته داوران جام جهانی ۱۹۹۶۱۹۶۶ منصوب شد.
در یک-چهارمدر۱/۴ نهایی بازی بین انگلیس و [[آرژانتین]] در ورزشگاه [[ومبلی]] برگزار شد. داور مسابقه رادولف کریتلین به برادران چارلتون اخطار داد و همچنین انتونیو راتین آرژانتینی را نیز از بازی اخراج کرد. این در حالی بود که داور تصمیم خود را قطعی نکرده بود. این ماجرا جرقه‌ای بود برای آستون تا به فکر چاره‌ای باشد تا تصمیمات داور را برای بازیکنان دو تیم و همچنین تماشاگران روشن تر کند. آستون متوجه شد که همانند کدبندی رنگ‌ها در چراغ راهنمایی (زرد=اخطار و قرمز=ایست) می‌توان زبانی را برای روشنتر کردن تصمیمات داوران به وجود آورد. و نتیجه آن رنگ زرد برای اخطار بازیکن و رنگ قرمز برای اخراج بازیکن انتخاب شد. که از این کدبندی رنگ‌ها اولین بار در جام جهانی ۱۹۷۰ مکزیک استفاده شد. استفاده از کارت‌های جریمه علاوه بر فوتبال در ورزش‌های دیگر نیز توسط قوانین مربوط به آنها نستفاده می‌شود.
