ETL (استخراج، تغییر، بارگذاری) و ELT (استخراج، بارگذاری، تغییر) هر دو روشهایی برای یکپارچهسازی دادهان که دادهها رو از یک محل به محل دیگه منتقل میکنن. تفاوت اصلی اونها در زمان تغییر دادههاست.
در ETL، دادهها قبل از بارگذاری در انبار داده، روی یک سرور پردازشی جداگانه تغییر داده میشن. اما در ELT، دادهها ابتدا وارد انبار داده میشن و بعد مستقیما داخل همونجا تغییر داده میشن.
دوره
ETL و ELT در پایتون
در این دوره یاد میگیرید چطور با استفاده از اصول استخراج، تغییر و بارگذاری، پایپلاینهای داده موثر، کارآمد و قابل اعتماد بسازید.
شروع رایگان
کاربرهای فینکا در چه شرکتهایی مشغول به کار هستند؟
توضیحات دوره
پایپلاینهای داده، پایه و اساس هر پلتفرم داده قدرتمندن. ساخت این پایپلاینها یکی از مهارتهای ضروری برای مهندسان دادهست و برای کسبوکارهایی که به سمت آیندهای دادهمحور حرکت میکنن، ارزش زیادی داره.
در این دوره مقدماتی، مهارتهای لازم برای ساخت پایپلاینهای داده موثر، کارآمد و قابل اعتماد رو تقویت میکنید.
همونیه که میخواید یاد بگیرید؟
شروع رایگان
- 1
یکپارچگی داده و عملکرد پایپلاین رو با استفاده از لاگگیری، نقاط اعتبارسنجی و یونیتتستهای خودکار یا تستهای سرتاسری ارزیابی کنید.
- 2
تفاوت بین معماریهای ETL و ELT رو از نظر ترتیب مراحل، ابزارهای مورد استفاده و محل مناسب ذخیرهسازی دادهها تشخیص بدید.
- 3
گزینههای استقرار رو برای زمانبندی، بررسی عملکرد و اجرای مجدد پایپلاینها در محیطهای پروداکشن ارزیابی کنید.
- 4
مراحل و اجزای اصلی پایپلاینهای داده مبتنی بر پایتون، از جمله منابع داده، تبدیلها و مقصدهای داده رو تشخیص بدید.
- 5
تکنیکهای Pandas و SQL رو برای استخراج، تبدیل و بارگذاری دیتاستهای جدولی و غیرجدولی تشخیص بدید.
1
آماده میشید تا ببینید دادهها چطور با استفاده از پایپلاینهای داده جمعآوری، پردازش و منتقل میشن. با ویژگیهای یک پایپلاین داده خوب آشنا میشید و برای طراحی و ساخت پایپلاین خودتون آماده میشید.
2
با استفاده از Pandas، استخراج، تغییر و بارگذاری دادهها رو تمرین میکنید و اولین پایپلاینهای دادهتون رو میسازید. یاد میگیرید چطور منطق ETL رو قابل استفاده مجدد کنید و ثبت لاگ و مدیریت استثناها رو در پایپلاینهاتون به کار ببرید.
3
با تکنیکهای پیشرفتهتر پایپلاین داده، جریان کاریتون رو قدرتمندتر میکنید؛ از کار با دادههای غیرجدولی گرفته تا ذخیره دیتافریمها در دیتابیسهای SQL. همچنین با ابزارهایی برای انجام تبدیلهای پیشرفته در Pandas آشنا میشید و بهترین روشهای کار با دادههای پیچیده رو یاد میگیرید.
4
در بخش پایانی، چارچوبهایی برای اعتبارسنجی و تست پایپلاینهای داده قبل از انتقال اونها به پروداکشن میسازید. بعد از تست پایپلاین، با روشهایی آشنا میشید که بهتون کمک میکنن پایپلاین داده رو بهصورت کامل از ابتدا تا انتها اجرا کنید و همزمان عملکرد اون رو هم بررسی کنید.
گواهی پایان دوره
- تأیید مهارت شما
با تکمیل این دوره، شما یک گواهی معتبر دریافت میکنید که بیانگر کسب مهارتهای لازم مرتبط با این دوره آموزشی است.
- اعتبار و اصالت گواهی
هر مدرک دارای شناسه یکتا و لینک اعتبارسنجی است که امکان بررسی و تأیید اصالت آن را فراهم میکند.
- اشتراکگذاری
میتوانید گواهیهای خود را بهراحتی در شبکههای حرفهای مانند لینکدین با دیگران به اشتراک بگذارید.
پیش نیازهای دوره
منابع
scores.csv
schools_modified.csv
amazon_sales_cleaned_sql.csv
tax_rate_cleaned.csv
توضیحات دوره
پایپلاینهای داده، پایه و اساس هر پلتفرم داده قدرتمندن. ساخت این پایپلاینها یکی از مهارتهای ضروری برای مهندسان دادهست و برای کسبوکارهایی که به سمت آیندهای دادهمحور حرکت میکنن، ارزش زیادی داره.
در این دوره مقدماتی، مهارتهای لازم برای ساخت پایپلاینهای داده موثر، کارآمد و قابل اعتماد رو تقویت میکنید.
همونیه که میخواید یاد بگیرید؟
شروع رایگان
- 1
یکپارچگی داده و عملکرد پایپلاین رو با استفاده از لاگگیری، نقاط اعتبارسنجی و یونیتتستهای خودکار یا تستهای سرتاسری ارزیابی کنید.
- 2
تفاوت بین معماریهای ETL و ELT رو از نظر ترتیب مراحل، ابزارهای مورد استفاده و محل مناسب ذخیرهسازی دادهها تشخیص بدید.
- 3
گزینههای استقرار رو برای زمانبندی، بررسی عملکرد و اجرای مجدد پایپلاینها در محیطهای پروداکشن ارزیابی کنید.
- 4
مراحل و اجزای اصلی پایپلاینهای داده مبتنی بر پایتون، از جمله منابع داده، تبدیلها و مقصدهای داده رو تشخیص بدید.
- 5
تکنیکهای Pandas و SQL رو برای استخراج، تبدیل و بارگذاری دیتاستهای جدولی و غیرجدولی تشخیص بدید.
1
آماده میشید تا ببینید دادهها چطور با استفاده از پایپلاینهای داده جمعآوری، پردازش و منتقل میشن. با ویژگیهای یک پایپلاین داده خوب آشنا میشید و برای طراحی و ساخت پایپلاین خودتون آماده میشید.
2
با استفاده از Pandas، استخراج، تغییر و بارگذاری دادهها رو تمرین میکنید و اولین پایپلاینهای دادهتون رو میسازید. یاد میگیرید چطور منطق ETL رو قابل استفاده مجدد کنید و ثبت لاگ و مدیریت استثناها رو در پایپلاینهاتون به کار ببرید.
3
با تکنیکهای پیشرفتهتر پایپلاین داده، جریان کاریتون رو قدرتمندتر میکنید؛ از کار با دادههای غیرجدولی گرفته تا ذخیره دیتافریمها در دیتابیسهای SQL. همچنین با ابزارهایی برای انجام تبدیلهای پیشرفته در Pandas آشنا میشید و بهترین روشهای کار با دادههای پیچیده رو یاد میگیرید.
4
در بخش پایانی، چارچوبهایی برای اعتبارسنجی و تست پایپلاینهای داده قبل از انتقال اونها به پروداکشن میسازید. بعد از تست پایپلاین، با روشهایی آشنا میشید که بهتون کمک میکنن پایپلاین داده رو بهصورت کامل از ابتدا تا انتها اجرا کنید و همزمان عملکرد اون رو هم بررسی کنید.
گواهی پایان دوره
- تأیید مهارت شما
با تکمیل این دوره، شما یک گواهی معتبر دریافت میکنید که بیانگر کسب مهارتهای لازم مرتبط با این دوره آموزشی است.
- اعتبار و اصالت گواهی
هر مدرک دارای شناسه یکتا و لینک اعتبارسنجی است که امکان بررسی و تأیید اصالت آن را فراهم میکند.
- اشتراکگذاری
میتوانید گواهیهای خود را بهراحتی در شبکههای حرفهای مانند لینکدین با دیگران به اشتراک بگذارید.
پیش نیازهای دوره
منابع
scores.csv
schools_modified.csv
amazon_sales_cleaned_sql.csv
tax_rate_cleaned.csv
سوالات متداول
دریافت اپلیکیشن فینکا
با اپلیکیشن فینکا، به بیشتر دورهها و مسیرها روی موبایل دسترسی دارید، تمرین میکنید و یادگیری رو همزمان روی موبایل و دسکتاپ ادامه میدید.
