בעשור האחרון ארגונים למדו בדרך הקשה שהדאטה לא נשאר במקום. הוא יכול להיווצר במערכות On-Prem ותיקות, להיאגר בענן ציבורי, משם הוא זורם בסטרימינג ומתרבה בכל רגע ממקורות חדשים. המגוון הזה דורש גישה אחרת למידע, כזו שמאפשרת לנהל דאטה בצורה אחודה, מאובטחת וגמישה, בלי לנעול את הארגון לספק אחד ובלי לוותר על Data Governance ואנליטיקה מתקדמת.
הגישה המסורתית חילקה בין Data Warehouse (לנתונים מובנים, דו"חות BI) לבין Data Lake (לאחסון נתונים גולמיים, לא תמיד מובנים). בפועל, הצורך העסקי דורש כיום לשלב בין השניים: גמישות של Lake משולבת ביכולות SQL ו-Analytics של Warehouse – והכל באותו מקום.
כאן נכנס לתמונה ה-Lakehouse: ארכיטקטורה אחת שמאפשרת לארגון לאסוף, לעבד, לנתח ולהפיק תובנות בכל פורמט, בכל קנה מידה, ובכל סביבה – בין אם זה On-Prem, Public Cloud או Multi Cloud.
Cloudera מציעה פלטפורמת Data Lakehouse היברידית שמחברת בין הדאטה הישן והחדש, ומאפשרת להעביר Workloads בצורה חכמה בין ענן פרטי לציבורי. זה פותר את אחד האתגרים הגדולים, של ניהול דאטה בלי להינעל לספק אחד (vendor lock-in).
כלים כמו Cloudera Data Platform (CDP) מעניקים לארגון מספר יכולות מתקדמות: שליטה מלאה ב-Data Governance (עם Ranger ו-Atlas); אנליטיקות מתקדמות בזמן אמת (עם Spark ו-Impala); יכולת ניהול Workloads דינמית; אבטחה ובקרה אחידה בכל סביבה ועוד.
ניהול דאטה הוא רק הצעד הראשון. הערך האמיתי מגיע כשמפעילים עליו בינה מלאכותית ומפיקים תובנות עמוקות שבלעדיהן אי אפשר לקבל החלטות מדויקות. כאן Cloudera בולטת לטובה, מכיוון שהפלטפורמה שלה כוללת כלים ייעודיים ל-Data Science, לניתוח Big Data ולאימון מודלים של Machine Learning, על אותה התשתית שבה הדאטה נשמר.
באמצעות השימוש ב-CDP צוותי Data Science יכולים לאסוף, להכין ולהנדס נתונים בקלות (Data Engineering); לאמן מודלים מתקדמים בסביבות ייצור (Production ML); להריץ Pipelines של ML על דאטה חי בזמן אמת; ולשלב MLOps – ניהול גרסאות מודלים, מעקב אחר ביצועים והסקת מסקנות אוטומטית.
היתרון המרכזי הוא שכל תהליך ה-AI קורה ליד הדאטה, בלי לשכפל אותו לסביבות חיצוניות, מה שחוסך לארגון זמן וכסף, ומאפשר אבטחת מידע קפדנית יותר.
בזמן שהרגולציה סביב פרטיות הולכת ומחמירה (GDPR וחוקים מקומיים כמו תיקון 13), היכולת להחזיק חלק מהדאטה בענן פרטי ועדיין ליהנות מגמישות של ענן ציבורי היא יתרון תחרותי אמיתי.
בשורה התחתונה, העתיד של ניהול דאטה נמצא לא רק בענן, אלא ביכולת לשלב בין On-Prem לענן באופן חכם ומאובטח. Cloudera Lakehouse הופך את החזון הזה למעשי ובר יישום, ומאפשר לארגונים להפיק ערך מהדאטה בלי לוותר על גמישות, עלויות תחרותיות ועמידה בדרישות הרגולציה. לפרטים ומידע נוסף על פתרונות דאטה חכמים ומודרניים פנו אלינו >>
מחבר המאמר הוא משה אמסלם, CTO ב-ONE Systems
חפש הכל “”