تحلیل کلان داده

هفته اول
فایل ها، داده ها و ابزارهای هفته اول و دوم
مقدمه ای بر کلان داده ها: ضرورتها ، مزیت‌ها و محدودیتهای آن
1 موضوع
ضرورتها ، مزیت‌ها و محدودیتهای کلان داده
اکوسیستم Hadoop: مفاهیم و ابزارها
9 موضوع‌ها
مقدمه و معرفی اکوسیستم Hadoop
اجزای اکوسیستم Hadoop
پیش نیازهای نصب Hadoop – بخش اول
پیش نیازهای نصب Hadoop – بخش دوم
نصب کلاستر Hadoop
کار کردن با HDFS
معرفی Hadoop YARN
معرفی Hadoop MapReduce
آشنایی با مدل پردازشی MapReduce
هفته دوم
انبار داده توزیع شده Apache Hive
5 موضوع‌ها
مقدمه و معرفی Apache Hive
روش نصب و کانفیگ Apache Hive
ایجاد جداول Hive MetaStore و شروع کار با Hive
استفاده از Zeppelin جهت اتصال به Hive و انجام کوئری و مصورسازی
روش کار با فرمت-فایل های Column-Base در Hive
دیتابیس های No-SQL
4 موضوع‌ها
معرفی دیتابیس های NoSQL و نصب MongoDB
اتصال به MongoDB و شروع کار و عملیات داده ای در آن
معرفی Replicaset در MongoDB و ایجاد و اتصال به آن
معرفی Elastic و ELK Stack
هفته سوم
فایل ها، داده ها و ابزارهای هفته سوم
Apache Spark: مقدمه، تعریف و آماده سازی
4 موضوع‌ها
مروری بر مباحث گذشته
معرفی اسپارک و اجزای آن
کاربرد اسپارک در پروژه های واقعی
نصب اسپارک روی YARN
معرفی Data Structure ها و پردازش آنها در اسپارک
11 موضوع‌ها
ساختار داده های تعریف شده در اسپارک
شروع کار با Spark SQL و استفاده از read/write-API
انجام EDA و کوئری روی داده‌ی HDFS
توابع موجود در Spark SQL – بخش اول
توابع موجود در Spark SQL – بخش دوم
توابع آماری موجود در Spark SQL
توابع رشته ای موجود در Spark SQL
اتصال Spark SQL به دیتابیس های رابطه ای (MySQL)
اتصال Spark SQL به دیتابیس MongoDB
اجرای یک مثال از فرایند ETL
روش کار با RDD در اسپارک
مانیتور کردن job ها در اسپارک
1 موضوع
مانیتور کردن job ها در اسپارک
جمع بندی مباحث و مقدمه ای بر Spark Streaming و Spark ML
1 موضوع
جمع بندی مباحث و مقدمه ای بر Spark Streaming و Spark ML
هغته چهارم
معرفی و مقدمه ای بر PySpark
1 موضوع
معرفی و مقدمه ای بر PySpark
تحلیل اکتشافی داده در PySpark
4 موضوع‌ها
تحلیل اکتشافی داده ها – بخش 1
تحلیل اکتشافی داده ها – بخش 2
تحلیل اکتشافی داده ها – بخش 3
نحوه هندل کردن Missing Value ها
پیاده سازی مساله رگرسیون در PySpark
4 موضوع‌ها
پیاده سازی مدل رگرسیون خطی – بخش 1
پیاده سازی مدل رگرسیون خطی – بخش 2
پیاده سازی مدل رگرسیون خطی – بخش 3
پیاده سازی مدل رگرسیون خطی – بخش 4
پیاده سازی مساله طبقه بندی در PySpark
4 موضوع‌ها
پیاده سازی مدل رگرسیون لجستیک – بخش 1
پیاده سازی مدل رگرسیون لجستیک – بخش 2
پیاده سازی مدل رگرسیون لجستیک – بخش 3
پیاده سازی مدل رگرسیون لجستیک – بخش 4
پیاده سازی مساله خوشه بندی در PySpark
2 موضوع‌ها
خوشه بندی به کمک K-Means – بخش 1
خوشه بندی به کمک K-Means – بخش 2
آشنایی با پلتفرم Apache Kafka
1 موضوع
آشنایی با پلتفرم Apache Kafka
درخواست گواهینامه مسیر جامع
درس قبلی

ضرورتها ، مزیت‌ها و محدودیتهای کلان داده

ضرورتها ، مزیت‌ها و محدودیتهای کلان داده مقدمه ای بر کلان داده ها: ضرورتها ، مزیت‌ها و محدودیتهای آن تحلیل کلان داده
پیشرفت درس
0% تکمیل‌شده
درس قبلی
بازگشت به درس

دانلود ویدئو