بیگ دیتا چیست؟

همانطور که از این نام یا بهتر است بگوئیم اصطلاح مشخص است، مبحث بیگ دیتا به حجم عظیمی از دیتا (اطلاعات) اطلاق می‌‌شود که در زمانی کوتاه و با سرعت و دقت بالایی تجزیه و تحلیل می‌‌شود. این اطلاعات می‌‌تواند ساختاریافته (اطلاعات منظم و دسته‌‌بندی شده) یا غیرساختاریافته (اطلاعات حجمی نامنظم و تصادفی) باشد. اما برخلاف چیزی که به نظر می‌‌رسد، این حجم اطلاعات نیست که اهمیت و اولویت دارد؛ بلکه نوع استفاده و بهره‌‌برداری از یک بخش یا تمام این اطلاعات توسط سازمان‌‌ها و تجارت‌‌ها است که مهم می‌‌باشد. بیگ دیتا در حقیقت عنوان و سیستمی جامع برای کسب‌‌وکارها به ویژه کسب‌‌وکارهای بزرگ است تا بتوانند از طریق اطلاعات حجیم به دست آمده از این سیستم، برای آینده کاری خود تصمیمات بهتری بگیرند.

اگر جستجوهای مربوط به کاربرد کلان داده را در گوگل بررسی کنید، می‌‌بینید که کاربرد کلان داده در پزشکی، اقتصاد، بانکداری و نیز حسابداری و حسابرسی، صرفاً بخش کوچکی از سوال‌ها و دغدغه‌های علاقه‌مندان این حوزه را به خود اختصاص می‌دهد.

همه‌ی ما با شنیدن بیگ دیتا یا کلان داده تا حدی می‌توانیم معنای آن را حدس بزنیم: ظاهراً به زبان ساده می‌توان گفت موضوع بیگ دیتا، به حجم زیاد داده‌ها مربوط است؛ حجمی که هر روز نیز رو به افزایش است و هر یک از ما، در هر مقیاسی که فعال باشیم، جلوه‌هایی از آن را مشاهده و تجربه کرده‌ایم.

کاربردهای کلان داده چیست؟

وقتی از بیگ دیتا صحبت می‌کنیم، بیشتر از یک وضعیت حرف می‌زنیم؛ وضعیتی که در آن حجم زیادی از داده‌ها، با سرعت زیاد و تنوع گسترده تولید می‌شوند.

اما این‌که از چنین وضعیتی چگونه می‌توان استفاده کرد، نیازمند دانش‌های دیگری است. دانشمندان علوم داده‌ها (Data Scientists)، متخصصان هوش مصنوعی (Artificial Intelligence) و فعالان داده کاوی (Data-mining) از جمله کسانی هستند که می‌توانند کاربردهای Big Data را در حوزه‌های مختلف بیابند و توسعه دهند.

بنابراین با وجودی که اصطلاح کاربردهای کلان داده (‌Big Data Applications) در فارسی و انگلیسی رایج است و ما هم آن را به‌کار می‌بریم، همواره به‌خاطر داشته باشید که منظور، کاربردهای تحلیل کلان داده‌هاست؛ وگرنه حجم و تنوع داده‌ها، به خودی خود کاربردی ندارد و اگر تحلیل و پردازش مناسب روی‌ داده های حجیم انجام نشود، این داده‌ها از منظر مدیریت منابع، با سایر منابع هرز سازمانی تفاوتی نخواهند داشت.

ویژگی‌های بیگ دیتا

اوایل سال ۲۰۰۰ میلادی Doug Laney، یکی از تحلیل‌گران سرشناس دنیا ویژگی‌های بیگ دیتا را به شرح زیر اعلام کرد:

حجم: سازمان‌ها داده‌ها را از منابع مختلف شامل تراکنش‌های کاری، دستگاه‌های اینترنت اشیا، تجهیزات صنعتی، ویدیوها، شبکه‌های اجتماعی و… جمع‌آوری می‌کنند. در گذشته نگهداری حجم زیادی اطلاعات بسیار مشکل بوده، اما پلتفرم‌های ارزان‌قیمت چون Data Lakes و Hadoop این مشکل را مرتفع کردند.
سرعت: همزمان با رشد اینترنت اشیا، توزیع داده‌‌ها با سرعت زیادی در کسب‌وکارها شروع شد و باید در زمان مناسب از آنها استفاده می‌شد. تگ‌های RFID، سنسورها و معیارهای هوشمند برای مواجهه با مشکل استفاده از این دادها در کمترین زمان ممکن ظهور کردند.
تنوع: داده‌ها از بین تمام فرمت‌های اطلاعاتی مانند داده‌های ساختاریافته، عددی، بانک‌ها اطلاعات قدیمی، اسناد متنی، ایمیل‌ها، ویدیوها، فایل‌های صوتی، تراکنش‌های مالی و… به دست می‌آید.
پیچیدگی: یکی دیگر از ویژگی‌های کلان داده پیچیدگی زیاد آن است و چون داده‌ها از منابع متنوع جمع‌آوری می‌شوند در نتیجه یکپارچه‌سازی و سازگاری آنها با یکدیگر کار سختی است.

بخش دولتی

در بخش دولتی استفاده از داده های بزرگ سبب کاهش هزینه ها، افزایش بهره وری و نیز ظهور و بروز نوآوری های جدید می شود. لیکن در بخش دولتی استفاده از چهارچوب های مبنی بر داده های بزرگ نیازمند همکاری بخش های مختلفی، از جمله وزارتخانه ها و نیز بخش های محلی و شرکت های دولتی است. در ادامه به بخشی از فعالیت های انجام شده در کشور های مختلف در حوزه داده های بزرگ اشاره می کنیم.
در ایالات متحده امریکا در سال 2012 دولت امریکا برای انجام پروژه ها و حل مسائل دولتی این کشور اعلانی را مبنی بر استفاده از طرح های تحقیقات و توسعه در حوزه داده های بزرگ اعلام کرد که مبتنی بر 84 طرح بود که در شش گروه تقسیم بندی شده است.
در انگلستان یکی از بهترین مثال های استفاده از داده های بزرگ در بش خدمات عمومی اتفاق افتاده است و به عنوان مثال داده های هواشناسی و کلیه خدماتی که از آن ناشی می شود از طریق چهارچوب های داده های بزرگ مدیریت می شود.

بخش خصوصی

در بخش خصوصی مثال های زیادی از کاربردهای داده های بزرگ می توان بر شمرد. شرکت eBay از دو انباره داده 7.5 پتابایتی (7.5 PetaBytes) به همراه دو انباره 40 پتابایت (40 PetaBytes) در Hadoop برای تحقیقات و سیستم پیشنهاد به مشتری و فروش استفاده می کند.
شرکت آمازون روزانه میلیون ها عملیات را در داخل شرکت و نیز عملیات مربوط به همکاران خود را مدیریت می کند به طوری که از سال 2005 سه دیتابیس بزرگ جهان بر روی لینوکس را به خود اختصاص داده است.
مثال های دیگری نیز می توان از جمله شرکت والمارت (Walmart) که روزانه بیش از 1 میلیون تراکنش مشتریان خود را مدیریت می کند.

تحلیل داده های عظیم

با ورود به عصر اطلاعات و ارتباطات و آغاز استفاده از داده ها و اطلاعات به عنوان سرمایه های اصلی در حرکت علمی، اقتصادی، اجتماعی و فرهنگی جوامع، سازمان ها و شرکت های مختلف و توسعه مشارکت افراد در جهان اینترنت و ارتباطات شبکه ای در دنیا، دغدغه ای بروز پیدا کرد که از جنس همین داده هایی بود که همه روز و با سرعت وحشتناک در دنیا و در عرصه های مختلفی که فناوری اطلاعات ورود پیدا کرده بود، تولید می شود و آن اینکه چگونه این حجم بزرگ و متنوع داده ها و اطلاعات را با توجه به ساختار هایی که در فضای فناوری اطلاعات وجود دارد، می توان مدیریت، کنترل و پردازش کرد و از آن در جهت بهبود ساختارها و سودآوری بیشتر بهره جست؟
از سال 2012 به بعد در هر روز بیش از هزار پتا بایت (1000 Pebibyte معادل 1,000,000,000,000,000,000 بایت) داده تولید می شود که به دنبال خود مستلزم ذخیره سازی، تحلیل، جستجوها، تمیزکاری داده ها، اشتراک ها و … در داده هاست که باید در حوزه مختلف انجام شود.
این موضوع باعث شده است که پژوهشگران و دانشمندان به دنبال ایجاد ساختارها، متدلوژی ها، روش ها و رویکردهای جدیدی برای مدیریت، کنترل و پردازش این حجم از داده ها باشند که این تلاش ها در ذیل سایه «داده های بزرگ» مطرح شده است.