کلان‌داده

کلان‌داده‌، مه‌داده‌ یا بزرگ‌داده‌ (به انگلیسی: big data) معمولاً به مجموعه داده‌هایی گفته می‌شود که بیش از حد بزرگ یا پیچیده هستند که نمی‌توان با نرم‌افزارهای کاربردی پردازش داده سنتی آنها را پردازش کرد. داده‌های با ورودی‌های زیاد (ردیف‌ها) توان آماری بیشتری را ارائه می‌دهند، در حالی که داده‌های با پیچیدگی بالاتر (ویژگی‌ها یا ستون‌های بیشتر) ممکن است به نرخ کشف نادرست بالاتری منجر شود. در حقیقت می‌توان گفت، مه‌داده حجم وسیعی از اطلاعات است که اگر حجم آن کم باشد قابل تفسیر و برداشت نیست.

اطلاعات جمع‌شده حسگر کوچک کیفیت هوا برای تصویرسازی از کلان‌داده (مه‌داده)

چالش‌های تجزیه و تحلیل مه‌داده‌ها شامل جمع‌آوری داده‌ها، ذخیره‌سازی داده‌ها، تجزیه و تحلیل دادها، جستجوی آنها، اشتراک گذاری، انتقال، مصورسازی داده، پرسمان، به روز رسانی، حریم خصوصی اطلاعات و تعیین منبع داده است. کلان داده در ابتدا با سه مفهوم کلیدی مرتبط بود: حجم، تنوع و سرعت. بدون سرمایه‌گذاری کافی در تخصص برای صحت کلان داده‌ها، حجم و تنوع داده‌ها می‌تواند هزینه‌ها و خطراتی را ایجاد کند که بیش از ظرفیت سازمان برای ایجاد و گرفتن ارزش از داده‌های بزرگ است. استفاده کنونی از واژه مه‌داده به استفاده از تحلیل پیشگویانه، تحلیل رفتار کاربر یا برخی دیگر از روش‌های پیشرفته تجزیه و تحلیل داده اشاره دارد که ارزش را از داده‌های بزرگ استخراج می‌کند و به ندرت به اندازهٔ خاصی از مجموعه داده‌ها می‌پردازد. «شکی وجود ندارد که حجم داده‌های موجود در حال حاضر واقعاً زیاد است، اما این مهم‌ترین ویژگی این اکوسیستم داده جدید نیست.» تجزیه و تحلیل مجموعه داده‌ها می‌تواند همبستگی‌های جدیدی را برای «پیدا کردن روندهای تجاری، پیشگیری از بیماری‌ها، مبارزه با جرم و جنایت و غیره» پیدا کند.

امروزه اندازه و تعداد مجموعه داده‌های موجود به سرعت رشد کرده است زیرا داده‌های فراوانی توسط دستگاه‌هایی مانند دستگاه‌های تلفن همراه، دستگاه‌های ارزان و متعدد سنجش اطلاعات اینترنت اشیا، سنجش از دور، گزارش‌های نرم‌افزارها، دوربین‌ها، میکروفون‌ها، سامانه بازشناسی با امواج رادیویی (RFID)، ریدرها و شبکه‌های حسگر بی‌سیم جمع‌آوری می‌شود.

سیستم‌های مدیریت پایگاه داده رابطه‌ای و بسته‌های نرم‌افزار آماری رومیزی که برای مصورسازی داده‌ها استفاده می‌شوند، اغلب در پردازش و تجزیه و تحلیل مه‌داده‌ها با مشکل مواجه هستند. پردازش و تجزیه و تحلیل داده‌های بزرگ ممکن است نیاز به «نرم‌افزار موازی گسترده‌ای داشته باشد که بر روی ده‌ها، صدها یا حتی هزاران سرور اجرا می‌شود». کاربرد عنوان "مه‌داده‌" به مجموعه‌ای از داده‌ها، به توانایی‌های کسانی که آن را تجزیه و تحلیل می‌کنند و ابزار آنها بستگی دارد. برای برخی از سازمان‌ها، مواجه شدن با صدها گیگابایت داده برای اولین بار ممکن است نیاز به بازنگری در گزینه‌های مدیریت داده‌ها را ایجاد کند. برای برخی دیگر، ممکن است ده‌ها یا صدها ترابایت طول بکشد تا اندازه داده‌ها به یک موضوع قابل توجه تبدیل شود.»

تعریف

عبارت big data یا مه‌داده از دهه ۱۹۹۰ مورد استفاده قرار گرفته است و برخی رواج آن را به دانشمند علوم رایانه آمریکایی، جان مَشی نسبت می‌دهند. مه‌داده معمولاً شامل مجموعه داده‌هایی است که اندازه آن فراتر از توانایی ابزارهای نرم‌افزاری رایج برای جمع‌آوری، گزینش، مدیریت و پردازش داده‌ها در مدت زمان قابل تحمل است. فلسفه داده‌های بزرگ شامل داده‌های بدون ساختار، نیمه ساختاریافته و ساختاریافته است، با این حال، تمرکز اصلی بر روی داده‌های بدون ساختار است. «اندازه» داده‌های بزرگ یک هدف دائماً در حال حرکت است و از سال ۲۰۱۲ از چند ده ترابایت تا چندین زتابایت داده تغییر کرده است. مه‌داده به مجموعه‌ای از روش‌ها و فن‌آوری‌ها با اشکال جدید ادغام نیاز دارد تا بینش‌هایی را از مجموعه‌های داده‌ای که متنوع، پیچیده و در مقیاس وسیع هستند، آشکار کند.

ویژگی‌ها

رشد داده ها را از یک منبع واحد به سمت داده های بزرگ و حجم، سرعت و تنوع مرتبط با آن را نشان می دهد.

کلان داده را می‌توان با ویژگی‌های زیر توصیف کرد:

حجم

مقدار داده‌های تولید شده و ذخیره شده اندازه داده‌ها ارزش و بینش بالقوه را تعیین می‌کند و اینکه آیا می‌توان آن را مه‌داده در نظر گرفت یا خیر. اندازه مه‌داده معمولاً بزرگتر از ترابایت و پتابایت است.

تنوع

تنوع نوع و ماهیت داده‌ها. فناوری‌های قبلی مانند RDBMSs قادر بودند داده‌های ساختاریافته را به صورت کارآمد و مؤثر مدیریت کنند. اما تغییر نوع و ماهیت از ساختاریافته به نیمه‌ساختاریافته یا بدون ساختار، ابزارها و فناوری‌های موجود را به چالش کشید. فناوری‌های داده‌های بزرگ با هدف اصلی جمع‌آوری، ذخیره‌سازی و پردازش داده‌های نیمه‌ساختاریافته و بدون ساختار (تنوع) که با سرعت بالا (سرعت) و حجم عظیم (حجم) تولید می‌شدند، تکامل یافتند. بعداً، این ابزارها و فناوری‌ها برای مدیریت داده‌های ساختاریافته نیز کاوش و استفاده شدند اما ترجیحاً برای ذخیره‌سازی. در نهایت، پردازش داده‌های ساختاریافته هنوز به عنوان یک گزینه نگه داشته شد، یا با استفاده از داده‌های بزرگ یا RDBMSs سنتی. این کمک می‌کند تا داده‌ها را به سمت استفاده مؤثر از بینش‌های پنهانی که از داده‌های جمع‌آوری شده از طریق رسانه‌های اجتماعی، فایل‌های لاگ، حسگرها و غیره نمایان می‌شوند، تجزیه و تحلیل کنیم. داده‌های بزرگ از متن، تصاویر، صوت، ویدیو برداشت می‌کند؛ علاوه بر این، قطعات گمشده را از طریق ادغام داده‌ها تکمیل می‌کند.

سرعت

سرعت تولید و پردازش داده‌ها برای پاسخگویی به خواسته‌ها و چالش‌هایی که در مسیر رشد و توسعه قرار دارند. داده‌های بزرگ اغلب در زمان واقعی در دسترس هستند. در مقایسه با داده‌های کوچک، مه‌داده‌ها با استمرار بیشتری تولید می‌شوند. دو نوع سرعت مربوط به مه‌داده عبارتند از فرکانس تولید و فرکانس پردازش، ضبط و انتشار.

صحت

صحت یا قابلیت اطمینان داده‌ها که به کیفیت داده‌ها و ارزش داده‌ها اشاره دارد. مه‌داده‌ها نه تنها باید از نظر اندازه بزرگ باشند، بلکه باید قابل اعتماد نیز باشند تا در تجزیه و تحلیل آن به ارزش دست یافت. کیفیت داده‌های ضبط شده می‌تواند بسیار متفاوت باشد و بر تجزیه و تحلیل دقیق تأثیر بگذارد.

ارزش

ارزش اطلاعاتی که می‌توان با پردازش و تجزیه و تحلیل مجموعه داده‌های بزرگ به دست آورد. ارزش را نیز می‌توان با ارزیابی سایر کیفیت‌های کلان داده اندازه‌گیری کرد.

تغییرپذیری

ویژگی تغییر فرمت‌ها، ساختار یا منابع داده‌های بزرگ. مه‌داده می‌تواند شامل داده‌های ساختاریافته، بدون ساختار یا ترکیبی از داده‌های ساختاریافته و بدون ساختار باشد. تجزیه و تحلیل مه‌داده ممکن است داده‌های خام را از چندین منبع ادغام کند. پردازش داده‌های خام ممکن است شامل تبدیل داده‌های بدون ساختار به داده‌های ساختار یافته نیز باشد.

کاربردها

دولت

استفاده و پذیرش مه‌داده در فرآیندهای دولتی، امکان افزایش بازدهی را از نظر هزینه، بهره‌وری و نوآوری امکان‌پذیر می‌کند، اما بدون نقص نیست. تجزیه و تحلیل داده‌ها اغلب نیاز به همکاری بخش‌های متعددی از دولت دارد. یک سازمان دولتی رایج که از داده‌های بزرگ استفاده می‌کند، آژانس امنیت ملی آمریکا (NSA) است که فعالیت‌های اینترنت را به‌طور مداوم در جستجوی الگوهای بالقوه فعالیت‌های مشکوک یا غیرقانونی که ممکن است سیستم آنها دریافت کند، رصد می‌کند.

توسعه بین‌المللی

تحقیقات در مورد استفاده مؤثر از فناوری‌های اطلاعات و ارتباطات برای توسعه نشان می‌دهد که فناوری داده‌های بزرگ می‌تواند سهم مهمی داشته باشد اما همچنین چالش‌های منحصربه‌فردی را برای توسعه بین‌المللی ایجاد کند. پیشرفت‌ها در تجزیه و تحلیل مه‌داده‌ها فرصت‌های مقرون به صرفه را برای بهبود تصمیم‌گیری در زمینه‌های توسعه حیاتی مانند مراقبت‌های بهداشتی، اشتغال، بهره‌وری اقتصادی، جرم و جنایت، امنیت و بلایای طبیعی و مدیریت منابع ارائه می‌دهد.

دارایی و امور مالی

مه‌داده‌ها به سرعت در امور مالی برای سرعت بخشیدن به پردازش و ارائه استنباط‌های بهتر و آگاهانه تر، هم در داخل و هم برای مشتریان موسسات مالی به کار گرفته می‌شوند. کاربردهای مالی مه‌داده عبارتند از: تصمیم‌گیری در مورد سرمایه‌گذاری و معاملات (پردازش حجم داده‌های قیمتی موجود، دفترهای سفارش محدود، داده‌های اقتصادی و موارد دیگر، به‌طور همزمان)، مدیریت پورتفولیو (بهینه‌سازی بیش از یک مجموعه بزرگ از ابزارهای مالی، به‌طور بالقوه) را شامل می‌شود. انتخاب شده از طبقات مختلف دارایی)، مدیریت ریسک (رتبه‌بندی اعتبار بر اساس اطلاعات گسترده)، و هر جنبه دیگری که در آن ورودی داده‌ها زیاد است.

بهداشت

تجزیه و تحلیل مه‌داده‌ها در مراقبت‌های بهداشتی با ارائه پزشکی شخصی و تجزیه و تحلیل تجویزی، مداخله ریسک بالینی و تجزیه و تحلیل پیش‌بینی، کاهش تنوع ضایعات و مراقبت، گزارش خودکار داده‌های داخلی و خارجی بیمار، اصطلاحات پزشکی استاندارد و ثبت بیماران مورد استفاده قرار گرفته است.

مه‌داده در تحقیقات بهداشتی به ویژه از نظر تحقیقات زیست پزشکی اکتشافی امیدوارکننده است، زیرا تجزیه و تحلیل مبتنی بر داده می‌تواند سریعتر از تحقیقات فرضیه محور به جلو حرکت کند.

جستارهای وابسته

• داده
• واحدهای حافظه رایانه
• تصمیم‌گیری داده‌محور
• اینترنت اشیاء
• علم داده‌ها
• رایانش ابری
• آپاچی هدوپ