پست شماره 11

سلام به دوستان استفاده از HEKATON نمونه مورد بررسی: پیاده سازی یک پایگاه داده In-memory در SQL SERVER 2016/2017 هکاتون یک مدل از دیتابیس رابطه ای  و تحت مدیریت SQL Server است که در آن تمام داده جداول مورد نظر در محیطRAM نگهداری و مدیریت می گردد. اولی پست شماره 11...ادامه مطلب

سلام به دوستان استفاده از SYSTEM VERSIONED TEMPORAL TABLES نمونه مورد بررسی: پیاده سازی یک جدول تاریخچه ای در SQL SERVER 2016/2017 یکی از نیازمندی هایی که شاید شما هم به آن برخورده باشید، نیاز به طراحی ساختارهایی است که دسترسی به داده های تاریخچه ای پست شماره 11...ادامه مطلب

سلام به دوستاناستفاده از سرویس Distributed Replay Utility (DRU) در  SQL SERVER 2017نمونه مورد بررسی: شبیه سازی بار عملیاتی واقعی در فرآیند تست دیتابیس (Stress Test)به دلیل تنوع نیازمندی ها و رشد آنها در سازمان های بزرگ، هر روز برنامه های کاربردی جدیدی ساخته می شود و به مجموعه نرم افزارهای موجود اضافه می شود؛ تمام این نرم افزارها از یک یا چند پایگاه داده استفاده می نمایند؛ در این سازمان ها و با وجود کاربران زیاد یکی از دغدغه های دائمی اینست که آیا پیاده سازی های جدید، در محیطِ عملیات، درست کار خواهد کرد؟ اگر تعداد زیادی کاربر همزمان اقدام به استفاده از محیط جدید کنند، آیا محیط جدید توان پاسخگویی به این فشار کاری را دارد؟بنابراین برای رسیدن به یک پیاده سازی موفق باید از منظرهای مختلفِ سخت افزاری و نرم افزاری، این مساله مورد بررسی قرار گیرد. در این مقاله می خواهیم این مطلب را بطور خاص از منظر فشاری که بر پایگاه داده وارد می شود، مورد بررسی قرار می دهیم؛ برای اینکار به سراغ مجموعه سرویسی به نامDistributed Replay Utility می رویم. این مجموعه سرویس که از نسخه 2012 به پلتفرم SQL Server افزوده شده است برای شبیه سازیِ بارِ عملیاتی (Critical Workload) بر روی یک سرور در محیط غیر عملیاتی، استفاده می شود. با این شبیه سازی، می توان تنگناهای کار را شناسایی نموده و آنها را بهبود داد تا دیتابیس پست شماره 11...ادامه مطلب

سلام به دوستاناستفاده از پایگاه داده سندگرا در SQL SERVER 2016نمونه مورد بررسی: استفاده از زبان JSON برای مدیریت داده های سندیدر سال های اخیر مدل های متعددی در قالب روش هایNoSQL ارائه گردیده که با محبوبیت زیادی هم روبرو شده است. این روش ها از آنجاییکه می توانند برخی نقایص موجود در پایگاه داده های رابطه ای را مرتفع کنند بسیار مورد توجه قرار گرفته اند. بهبود های شگفت انگیز ایجاد شده توسط این مدل ها بر کسی پوشیده نیست، تنها مساله آنست که این مدل ها هنوز جامعیت پایگاه داده های رابطه ای را ندارند و قادر به پوشش دادن تمام نیازهای اطلاعاتی سازمان نیستند؛ مدل های رابطه ای بسیار غنی و بلوغ یافته هستند و تمام نیازهای داده ای سازمان را تامین می کنند، برخی را بسیار خوب و برخی را بد؛ لذا آنچه هم اکنون در سازمان های بزرگ دیده می شود آنست که مرکزیت مدیریت داده های سازمان را دیتابیس های رابطه ای عهده دار هستند و بسته به مورد برای کاربردهای خاص از دیتابیس های غیررابطه ای هم استفاده می شود.با توجه به محبوبیت این مدل های جدید، غول های نرم افزاری نظیر مایکروسافت، اوراکل و آی بی ام نیز وارد این بازی شده اند؛ از جمله شرکت مایکروسافت با ارائه Azure Cosmos DB یک پایگاه داده Multi Model ارائه نموده است که در آن از 5 روش مختلف ذخیره سازی داده شامل Relational, Key-Value, Column-family, Documents, Graph در کن پست شماره 11...ادامه مطلب

سلام به دوستان شناسایی تغییرات در داده های پایه جداول FACTنمونه مورد بررسی: پیاده سازی سرویس CDC (Change Data Capture)در این مثال به دنبال آن هستم که یکی از سرویس های بسیار جالب در SQL را به شما معرفی کنم. کارکرد این سرویس در لایه ETL از سیستم های BI است. با توجه به حجم بالای جداول Fact در انباره های داده، همواره بروزرسانی این جداول یکی از چالش های جدی در سیستم های BI است. مشکل اصلی در انجام این عملیات آنست که استفاده از دو روش بسیار ساده زیر در این جداول امکان پذیر نیست:1-     حذف تمام داده های جدول مقصد و بازنشانی مجدد داده ها2-     مقایسه جداول مبدا و مقصد و شناسایی تغییرات هردوی این روش ها، باعث اتلاف قابل توجه منابع خواهند شد و در زمان کوتاه قابل انجام نخواهند بود. لذا باید به دنبال روش های دیگری بود. روش های خلاقانه زیادی برای رفع این مشکل وجود دارد ولی اغلب آنها یا نیاز به اعمال تغییرات و ساخت اشیا جدید در پایگاه داده های پایه دارند که گاهی دسترسی این عملیات برای توسعه دهندگان فراهم نیست و یا باعث تولید سربار بر روی عملیات جاری می شوند که باز مطلوب نیست. در این بین، یکی از روش های قابل استفاده، سرویس CDC مایکروسافت است؛ این سرویس که از نسخه 2008 به بعد قابل استفاده است مبتنی بر استفاده از سرویس های پایه DB Engine و  SQL Agent طراحی گردیده است. این سرویس با خواندن پست شماره 11...ادامه مطلب

سلام به دوستان کار با Graph Database در SQL Server 2017 نمونه مورد بررسی: تحلیل شبکه های اجتماعی (SNA ) پلتفرم SQL Server در نسخه های 2016 و 2017 بطور قابل توجهی بزرگ تر از قبل شده است و بخش قابل توجهی از دیدگاه های مختلف برای مدیریت داده را در خود جای داده است. یکی از این نوآوری ها که در نسخه 2017 اضافه شده است، پشتیبانی از پایگاه داده های گرافی (Graph Databases) است. این پایگاه داده ها بر اساس نظریه گراف ها اقدام به مدل سازی داده ها می نمایند و با استفاده از قواعدی که مبتنی بر این نظریه می باشد، سادگی و کارایی بازیابی اطلاعات را، در برخی سناریوهای خاص بطور قابل توجهی افزایش می دهند. البته نسخه ای که در حال حاضر می توانیم از آن استفاده کنیم، اولین نسخه از این نوع پایگاه داده در SQL SERVER است؛ بنابراین می توان گفت تمام امکانات ساخته شده تا به الان، به روش های کلاسیک نیز قابل پیاده سازی است و مزیت اصلی حاصله، سادگی کار نسبت به روش های کلاسیک است. بعنوان یک مثال اشاره ای به تحلیل هایی می کنیم که به آنهاSNA (Social Network Analysis) یا تحلیل شبکه های اجتماعی گفته می شود. فرض کنیم شبکه ای از افراد را داریم که ارتباط بین آنها مشخص است؛ در این حالت فرض کنید تعدادی از این افراد بعنوان افراد مشکوک به تخلف شناسایی شده اند، حال می خواهیم افرادی که به نحوی با این افراد مشکوک در ا پست شماره 11...ادامه مطلب

سلام به دوستان بازاریابی هدفمند (Direct Marketing) با استفاده از Data Mining نمونه مورد بررسی: شناسایی مشتریان هدف بر اساس خصوصیات آنها فرض کنید در مرحله معرفی یک محصول جدید به بازار، به جای معرفی محصول به تمام مشتریان بالقوه (روش Mass Marketing) بخواهیم  بازاریابی را صرفا روی مشتریانی انجام دهیم که به احتمال مثلا بالای 70% پیش بینی شود که خریدار آن محصول باشند (روش Direct Marketing). استفاده از این روشها می تواند هزینه های بازاریابی را تا حد قابل توجهی کاهش دهد و نرخ پذیرش بالاتری را در فرآیند بازاریابی برای ما ایجاد نماید و نهایتا سودآوری را افزایش دهد؛ برای رسیدن به این هدف وجود یک سیستم که بتواند در شناسایی مشتریان ارزشمند به کاربر سیستم کمک کند بسیار مفید خواهد بود. اینگونه سیستم ها که DSS یا Decision Support Systems نامیده می شوند، بر اساس قواعد و تحلیل های داده کاوی کار می کنند و با اتکا به این قاعده که آنچه در گذشته رخ داده است احتمالا در آینده نیز رخ خواهد داد؛ سعی در استخراج این قواعد از مجموعه داده های موجود دارند. نمونه ای که برای این منظور طراحی کرده ام، یک مثال بسیار کاربردی و جالب از کارکرد یک سیستم DSS است که پیاده سازی تمام مراحل آن را می توانید در زیر ببینید. در این پیاده سازی از ابزارهای زیر استفاده شده است: ·       SQL Server DB Engine ·       SQL Server Analysi پست شماره 11...ادامه مطلب

سلام به دوستان استفاده از سرویس جدید SSIS SCALE OUT در  SQL SERVER 2017 نمونه مورد بررسی: اجرای همزمان و موازی یکSSIS PACKAGE روی چندین سرور بارها سر کلاس هایم عنوان کرده ام که زمانبرترین و پیچیده ترین لایه در پیاده سازی یک پروژه BI معمولا قسمت ETLاست، جاییکه داده های ناهمگون باید از منابع داده مختلف خوانده شده و در یک انباره داده مرکزی بارگذاری شوند. ولی علاوه بر پیچیدگی های بسیاری که به واسطه کسب و کار و یا به واسطه شرایط داده و بسترهای پایه آنها ایجاد می شود، گاهی اوقات به دلیل حجم بالای داده ها یا پیچیدگی های اعمال شده در کسب و کار، دچار کندی شدید در اجرای Package ها می شویم. هرچند این مشکلات اغلب با مهندسی مجدد فرآیندها و بهینه سازی آنها می تواند بهبود داده شود ولیکن خود این کار زمانبر است و نیازمند دانش، حوصله و زمان کافی است و با توجه به اینکه رسیدن به یک بهبود قابل توجه در زمان محدود، قطعی نیست، گاهی مدیران به اختصاص منابع برای بهبود کاملا مطمئن نیستند بنابراین سعی می کنند منابع موجود را به کارهایی اختصاص دهند که بازده آنها قطعی تر است. در این شرایط گاهی بهبودهایی روی پلتفرم های پایه ایجاد می شود که اولا مستقل از طراحی هستند و ساختارهای طراحی شده را متاثر نمی کنند و در عین حال می توان به راحتی از مزایای آنها بهره مند شد؛ مدیران عاشق این اتفاقات هستند. یکی از این پست شماره 11...ادامه مطلب

سلام به دوستان عزیز استفاده از Fuzzy Grouping نمونه مورد بررسی: شناسایی مشتریان مشابه داده ها در سازمان های بزرگ در طی سالیان دراز و توسط سیستم های متفاوت و ناهمگون تولید می شوند، لذا غالبا مشکلات زیادی در خصوص کیفیت داده ها در این سازمان پست شماره 11...ادامه مطلب

سلام به دوستان فایل های صوتی زیر، مجموعه کامل یکی از کلاس های داده کاوی اینجانب است که مجموعا ۲۰ ساعت می باشد. امیدوارم مفید باشد لینک دانلود جلسه 1 بخش 1 لینک دانلود جلسه 1 بخش 2 لینک دانلود جلسه 2 بخش 1 لینک دانلود جلسه 2 بخش 2 لینک دا پست شماره 11...ادامه مطلب