Loading AI tools
מוויקיפדיה, האנציקלופדיה החופשית
Big Data ("בִּיג דָּאטָה", לפי החלטת האקדמיה ללשון העברית: נְתוּנֵי עָתֵק[1]) הוא מונח המתייחס למאגר מידע הכולל נתונים מבוזרים, שאינם מאורגנים לפי שיטה כלשהי, שמגיעים ממקורות רבים, בכמויות גדולות, בפורמטים מגוונים, ובאיכויות שונות.
ניתן לאפיין נתוני עתק לפי חמישה מאפיינים (חמשת ה-V-ים):
האתגר בניהול נתוני עתק הפך תחום זה לעניין מרכזי בטכנולוגיית מידע. מסדי הנתונים היחסיים הקיימים אינם בנויים לאחסון ולניתוח כמויות מידע גדולות שרובן אינן מגיעות באופן מפורמט לפי תבניות אחידות וידועות מראש. העלות הזולה יחסית של אמצעי האחסון, מצד אחד, והכמות הגדולה של מידע המגיע משלל מקורות (אתרי אינטרנט, רשתות חברתיות, מכשירים סלולריים, מצלמות אבטחה, חיישנים ועוד), מצד שני, גורם לכך שמידע נאגר ללא מחיקה, ומאפשר יכולות ניתוח וזיהוי תבניות ומִתְאָמִים, הנדרשות בעולמות תוכן רבים.
ביג דאטה משמש לתיאור היקף מאסיבי של אוסף נתונים מובנה ושאינו מובנה, שגודלו העצום - וקצב עדכונו המהיר, לא היו בנמצא עד לפני זמן קצר.
נדרשות פרדיגמות מתקדמות, השונות מהשיטות המסורתיות, לעיבוד הנתונים וחילוץ המשמעות מהם. האמצעים והתהליכים במערכות הדיגיטליות העדכניות כיום מאפשרים לדלות מידע רלוונטי של נתונים מובנים, מובנים בחלקם או אף לא מובנים. שימוש בכלים וחומרה מחשובית מתאימים לגודל מאגר הנתונים וקצב עדכונו, מאפשרים מיון וסינון הנתונים, ניתוח הנתונים, חילוץ משמעות, זיהוי דפוסים, כדי לקבל תובנות חדשות שלא ניתן היה לרכוש קודם לכן בגלל מגבלות טכנולוגיות של זיכרון ומהירות עיבוד ותקשורת, שהתבטלו למעשה בצל ההתפתחויות הטכנולוגיות בשנים האחרונות. תובנות אלו מיועדות לסייע בידינו ללמוד יותר עלינו ועל העולם בו אנו חיים, ומגדילות מאוד את הפוטנציאל לסייע לחברה לשפר את יעילות ההתנהלות, תוך קבלת החלטות מהירות.
הגדרה מקובלת במחקר של המושג "נתוני עתק" היא זו המנוסחת בערך "big data" במילון אוקספורד: ”נתוני עתק הם גוף נתונים גדול במידה כזו, שעיבודו, ארגונו וניתוחו מעמידים אתגר מיוחד.” (data of a very large size, typically to the extent that its manipulation and management present significant logistical challenges...)[2]
נהוג לתאר לכל הפחות שלושה היבטים אופייניים[3] של נתוני העתק: נפח (volume), גיוון (variety) ומהירות (velocity). היבט הנפח מתייחס לעובדה שכפי שניתן להבין, מדובר בכמות עצומה של נתונים, העולה על יכולת התפיסה האנושית. גיוון מתייחס לעובדה שהנתונים נאספים ממקורות שונים והם אינם אחידים. מאפיין המהירות נובע מהיבט עקרוני של מידע דיגיטלי המצטבר בקצב גבוה מאוד.
עקב דרישת רוב הלקוחות לקבל תשובות מורכבות בזמן אמת או קרוב מאוד לכך, אמצעי האחסון המתקדמים, התומכים בכמויות מידע גדולות, נדרשים לאתגרים של כתיבה ושליפה מהירות מאוד. זאת מבלי לאבד יכולות של גיבוי ושחזור אמינים ואוטומטיים, גילוי ותיקון שגיאות, ביזור המידע על פני מספר אתרים גאוגרפיים, ודחיסת מידע נבונה.
כתיבת המידע צריכה להיעשות בדרך סטנדרטית, שקופה ויעילה, באופן מנותק מהרכיבים יצרני המידע. מידע זורם כל העת מהתקנים רבים, שונים, בקצבים משתנים וללא כל שליטה של צרכן המידע (בעל המאגר) על שום היבט של זרם הנתונים שהוזכר לעיל.
על המאגרים לספק, מחד, תמיכה בתקנים של יצרני מידע מוכרים, ומאידך, גמישות רבה לשינויים ויצירה של מתאמים (adapters) חדשים.
האתגר הגדול ביותר הוא ביצוע שליפות מהירות של מידע, הן בדרכים קבועות מראש (שאילתות), אך בעיקר בדרך של זיהוי מהיר של תבניות וקשרים שונים, בלתי ניתנים לחיזוי אנושי מראש, בין מיליוני פיסות מידע מרוחקות בזמן, במקום, בפורמט ובמקור הקליטה שלהן.
לשם זיהוי תבניות ופיתוח מערכות לומדות, מוכנסים לשימוש בתחום אלגוריתמים מתחומי האלגוריתמים האקראיים, האלגוריתמים האבולוציוניים, בינה מלאכותית, בינה עסקית ועוד, שהורחבו והותאמו לעבודה בכמויות ובקצבים הנדרשים.
היקף המידע, מגוון המקורות של המידע והשימושים שנעשים בו מציבים אתגרים בקשר לפרטיות במידע. דיני הגנת הפרטיות הקיימים בתחילת המאה ה-21, בעיקר באיחוד האירופי, מבוססים ומותאמים לסוגיות של מאגרי מידע מקומיים, קטנים יותר בהיקפם, שהוקמו למטרה מסוימת. נתוני עתק לא בהכרח מותאמים לכללים אלה.
הפתרונות בתחום מגיעים מחברות מובילות ממספר תחומים:
פתרון כגון Google BigTable, מציע קובייה רב-ממדית, שכל "תא" בה מאחסן פיסת מידע בלתי מפורמטת (דף אינטרנט, תמונה, סרט וידאו, זרם נתונים בינאריים וכדומה). המפתח של התא הוא וקטור (רשימה) של שדות שמאפיינים את התא, שאחד מהם הוא חתימת-זמן מדויקת, לשם קבלת המימד ההיסטורי.
כיוונים אחרים באים מתחום החישוב המבוזר, וכוללים פתרונות כמו Google MapReduce ו-האדופ.
קיים קשר הדוק בין בינה עסקית (BI) לבין נתוני עתק. הקשר נובע מהצורך להשתמש בכמויות מידע גדולות מאוד על מנת לבצע ניתוחי בינה עסקית תקפים ומשמעותיים. התחום של בינה עסקית מבוססת נתוני עתק מתפתח בקצב מהיר. מכיוון שכלי בינה עסקית מסורתיים לא נבנו באופן המאפשר להם להתמודד עם כמויות כה גדולות של נתונים, פותחו בשנים האחרונות כלי בינה עסקית ייעודיים לנתוני עתק.
רן לוי, אהבה, שפעת ומותה של השיטה המדעית – על Big Data, באתר "עושים היסטוריה", 5 בינואר 2015 (שידור של הפודקאסט וטקסט מלא שלו)Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
