5/20/2012 1 ی ما داد ػلیضاد سویس مورد بحث در ک مطالب• ین هفا تؼاسیف• ا دادثاس ا• ا صی داد سا آهاد( ا داصش داد پیص پش) طکذه صنایعت علمی دان هیا علیساده سمیهر طوسی خواجه نصینطگاه دا
5/20/2012
1
داد مای سوی ػلیضاد
مطالب مورد بحث در کلاس
تؼاسیف هفاین •اثاس داد ا•(پیص پشداصش داد ا) آهاد ساصی داد ا •
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
2
مطالب مورد بحث در کلاس
خض تذی •دست تذی•قایي اجوی•سشیای صهای•ب مای •هتي مای •
پیذمای تحلیل ضثن ای اجتواػی•
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
مطالب مورد بحث در کلاس
هتذلطی اجشای پشط ای داد مای•ماستشدای داد مای دس تاصاسیاتی•ماستشدای داد مای دس هذیشیت استثاط تا هطتشی•
اهیت دس داد مای•
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
3
تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها
ساختار انباره داده ها
مبانی انباره داده ها
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها
ساختار انباره داده ها
مبانی انباره داده ها
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
4
تاریخچه
اص قثل . یافت ظس ا داد اثاس پذیذ هیلادی 90 د دس• ، رخیش جت ماهپیتشی ای سیستن ا داد ساصی اثاس
ضذ طشاحی ا داد ای تیت تصحیح تغییش ، آسی جوغ هیشاثی یا ػولیاتی ای سیستن ت الی ای سیستن ایي .تدذ
. ستذ هسم
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
ااثاس داد
هطتشیاى
تاهیي مذ غیش
سفاسش
ااثاس داد
پایگاه داده هایضرکت
تشامطا
کپیدهیسازمانخلاصه
مایداد
:داد مااىتحلیل امتطافی: اص قثل وی داذ•اص قثل هی داذ•
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
5
اثاس داد یل ضشست ماهل تشای داد مای هؤثش.هی تاضذ
هی آهاد تی ای گ ت تحلیل تشای سا خام ای داد ، ا داد اثاس• . تاضذ هی سدهذ هختلف ضنلای ت ساصی آهاد ایي . ساصذ
قشاس گام ا داد ینپاسچگی ، ا داد اثاس جدی ای هایت اص ینی• تناس تسیاسی دقت م است هؼی تذیي ایي . است داد اثاس دس گیشی ساصهای ػام اذاف دسك دس پیستگی یناختی تا ضد هی گشفت . آیذ تجد
تسیاس صهاى تایستی ما داد ، تاضذ ذاضت جد ا داد اثاس اگش • داد ساصی ینپاسچ مشدى تویض ، پامساصی ، آسی جوغ تشای سا صیادی
ماس تتاى تا مشد صشف تایذ تسیاسی قت تشتیة تذیي . مذ سپشی ا. ود آغاص سا ا داد تحلیل
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
اثاس داد یل ضشست ماهل تشای داد مای هؤثش.هی تاضذ
خاطش ت مای داد هفقیت تشای تاى هی م ػلتی دهیي• داد ، ا داد اثاس دس م است ایي مشد رمش ا داد اثاس جد. ضذ هی ساصهاذی آسی جوغ تاسیخی ای
م ساتطی الگا یافتي تشای تاسیخی ای داد جد • . است ضشست یل مای داد تشای ، آاست تذثال ساصهاى
داد ، تاضذ ذاضت جد تاسیخی ای داد ایي چاچ اگش•. تاضذ آا آسی جوغ تذثال تایستی ما
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
6
اثاس داد یل ضشست ماهل تشای داد مای هؤثش.هی تاضذ
است ایي هؤثش، مای داد تشای ا داد اثاس اویت سم ػلت• دس ملی، ای داد جضئی ای داد ضاهل ا داد اثاس م
. تاضذ هی ینذیگش ماس یاصهذ تحلیل تشای جضئی اطلاػات ت ما داد ، تشدیذ تذى•
. آیذ هی تناس یض ضذ خلاص ای داد اها است، جد ضذ خلاص ای داد ااع اص ای و م گاهی•
چ م مذ تشسسی سشػت ت تاذ هی ما داد ، تاضذ داضت تاػث ایي یست چیضی یا ، ست ا داد اثاس دس چیضی. ضد هی ما داد تسط ا تحلیل تنشاس ماص
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها
ساختار انباره داده ها
مبانی انباره داده ها
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
7
ویژگیهای انباره داده ها
(Subject Oriented)هضع هحسی •(Integrated)جاهؼیت •(Time Variant)هن تدى ػاهل صهاى •
(NON Volatile)غیش فشاس دایوی تدى •
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
موضوع محوری
ػاى ت هیطذ، ساصهاذی خاصی هضع یل طثق ا داد• ای داد یا هحصلات ، هطتشیاى ت هشتط ای داد هثال
دس اها .هیطذ گشفت ظش دس جذاگا مذام ش فشش تا هشتثط پشداصش ػولیات اساع تش ا داد هؼولی، ای داد پایگا پشداصش مل تا هشتثط آا هضع هیگشدذ ایجاد سصا ای
.هیثاضذ
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
8
هاخلاصه کردن داده
تاریخ
هرض
جوغ
جوغتلیضیى
یذئسادی
1فصل 2فصل 3فصل 4فصل
یضد
تثشیض
تشاى
جوغ
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
جامعیت
ساخت ا داد دیگش تجوغ اص ای داد ای اثاس ای داد• ای داد پایگا ت هشتط است هوني ا داد ایي .هیطذ
تا هشتثط سمسدای یا ساختاس تذى ای فایل ای، ساتط.تاضذ Online ای پشداصش
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
9
اهجتوغ مشدى داد
بازاریابی
مالی
فروش
دادايتليذ
دادايحمليوقل
دادايپيماوکاران
دادايکارکىان
دادايمشتريان
اوباردادا
دادکايي
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
عامل زمان
تا هشتثط ای اصداد هوتش تسیاس ا داد اثاس تشای صهای افق• ػاهلی ا داد اثاس ساختاس دس .هیثاضذ ػولیاتی سیستوای
هیتاذ صهای ػاهل ایي .هیطد گشفت ظش دس صهاى ام ت دس اها .گشدد تیاى ضح ت یا ضوی ػاهل یل تصست
.یست ملیذی ػاهلی صهاى ػاهل ػولیاتی سیستوای
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
10
هاخلاصه کردن داده
تاریخ
هرض
جوغ
جوغتلیضیى
یذئسادی
1فصل 2فصل 3فصل 4فصل
یضد
تثشیض
تشاى
جوغ
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
غیر فرار بودن
ماس آا تا سصا م است ایی داد ضاهل ا داد پایگا• دس هیگشدد، حزف آى اص یا اضاف آى ت تخطایی هیطد .ذاسد سا یظگی ایي داد اثاس هقاتل
اثاس دس ا داد ضذى سص ت م است اضح اهش ویي ت تج تا اص پشداصضایی ت یاصی ا داد اثاس ویثاضذ هقذس ا داد متشل هنایضهای تاصیافت ای، داد تشامطای : قثیل
هیپزیشد صست ا داد اثاس دس م اػوالی تا .ذاسد وضهاى دستشسی ا داد الی ( دی هقذاس ) گزاسی تاس :اص ػثاستذ
.ا داد ت
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
11
منافع اصلی انباره داده ها
: هافغ اصلی اص قاتلیت ای اثاس داد ػثاستذ اص •ت سشػت قاتل دستشسی ستذ ، صیشا اص لحاظ فیضینی دس یل هناى –
. قشاس داسذ
.تسیل ماستش ایی ت ساحتی قاتل حصل ستذ –
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
تاریخچه و تعاریف و مفاهیمویژگیهای انباره داده ها
ساختار و معماری انباره داده ها
مبانی انباره داده ها
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
12
معماری انباره داده
چذ ساختاس یل ا داد اثاس تا ماس تی جت• داد طاى تؼذ ضنل دس م داسد جد ای لای,Extract اصلی ػول چاس تا اتتذا دس .است ضذ
Transform,Load,Refresh داد پایگا اص ا داد Data) هؼولی ای Source) ای پشداصش اص م
ضذ آسی جوغ اذ، ضذ ایجاد سیستوا ػولیاتی.هیطد فشستاد داد اثاس ت
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
معماری انباره داده
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
13
تؼاسیف
سیستوا دیگش تا هستقیوا ا داد اثاس دس هجد ای داد• داد اص تخاذ ػولیاتی سیستن یل اگش یستذ استثاط دس
Data اص مذ استفاد داد اثاس ای Mart طس ت م ا سیستن ع آى تا هشتثط م سا ا داد اص تخطی ضاهل هقت.هینذ استفاد هیثاضذ، خاظ
ا هتاداد . ستذ ا داد ت هشتط ای داد ، ا هتاداد• مذ هی تصیف سا ا داد هختلف ای ضؼیت
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
Data)تعریف Mart)
اتؼاد دس ضذ هحذد مجل داد اثاس•Mini-warehouses, limited in scope
Data یل– Mart اص هحذد مچل هجوػ صیش یل تشای هضػات اص ای هجوػ داسای م تاضذ هی DWیل .است ماستشاى اص تخص یل
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
14
پردازضها در انباره داده ها
ای، داد تشامطای : قثیل اص پشداصضایی ت یاصی ا داد اثاس• اثاس دس م اػوالی تا .ذاسد وضهاى متشل هنایضهای تاصیافت
داد الی ( دی هقذاس ) گزاسی تاس :اص ػثاستذ هیپزیشد صست ا داد .ا داد ت دستشسی ا
OLAP هیگیشد اجام ا داد اثاس ای داد سی تش م پشداصضی• م است ایی پشداصش م OLTP هقاتل دس OLAP) هیطد اهیذ
تؼذ جذل .( است آهذ هیگیشد اجام ا داد پایگا ای داد سی تشOLAP OLTPمشد هقایس هن پاساهتشای تشخی ت تج تا سا
:است
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
ای هؼولیمای تا دادهقایس پشداصضا دس داد
OLAP OLTPييژگيا
کارشىاسانخبرکاربراناپراترا
تظميمگيريکارکردکارايريزمر
برمبىايمضعطراحيپايگادادبرمبىايکاربردتاريخي،چىذبعذي،ريزدادجاري،ريزب
يباجسيياتمجتمعدرماردخاصکاربردتکراري
کايشيکشفوحدسترسيخاوذنيوشته
جستجايپيچيذياحذکاريپردازشساد
داميليواتعذادرکرداطذاتعذادکاربرانساران
100MB_GB 100TB_GBاوذازپايگاداد
پردازشجستجيپاسخشاخض
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
15
ایجاد و نگهذاری یك انباره داده ها
سا ریل ظایف تا داسذ یاص اتضاس چذیي ت داد ایاثاس:دذ قشاس پطتیثای هسد یا مشد خدماس
ا داد استخشاج Data extraction))هتفات داد هاتغ اص خاسجی
ا داد پالایص ( Data cleaning): حل مشدى پیذا هثغ ای داد اص اساصگاسیا
هختلف صتاای فشهتا تیي : ا داد تثذیل ینپاسچگی
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
ا داد تاسگیشی(Data loading ) : ا داد تاسگیشی ا داد اثاس دس
ا داد تنشاس ( Data replication ): داد پایگا اص ا داد اثاس ت هثغ
ا داد مشدى تاص(Data refreshment) ا داد آسضی( Data archiving )ا داد میفیت مشدى چل
ا داد هتا تحلیل(metadata)
ایجاد و نگهذاری یك انباره داده ها
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
16
مذلسازی مفهومی انباره داده ها
:سه ضمای مفهومی پایه عبارتنذ از (Star schema) ضمای ستاره •( Snowflake schema) ضمای دانه برفی•( Fact constellations) ضمای فلکی •
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
ضمای ستاره
در مرکس به تعذادی از fact tableیك :ضمای ستاره•متصل می ( dimension tables) فهرستهای ابعادی
.ضود
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
17
روز ماه سال
تاريخ
Idمشترينام مشتري
شهر مشتريكشىر مشتري
مشتري
فروش Fact Table
تاريخ
محصىل
مغازه
مشتري
واحد فروش
dollar_sales
schilling_sales
شاخصها
نام محصىلشماره محصىل
دسته
محصىل
Id مغازهشهركشىر ناحيه
مغازه
مثالي از شماي ستاره
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
شماي دانه برف
یك پالایطی از ضمای ستاره است که سلسله مراتب ابعاد : ضمای دانه برف dimension tables)) بصورت صریح با نرمال کردن فهرستهای ابعادی
.نمایص داده می ضود
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
5/20/2012
18
ضمای دانه برفهثالی اص
time_key
day
day_of_the_week
month
quarter
year
time
location_key
street
city_key
location
Sales Fact Table
time_key
item_key
branch_key
location_key
units_sold
dollars_sold
avg_sales
Measures
item_key
item_name
brand
type
supplier_key
item
branch_key
branch_name
branch_type
branch
supplier_key
supplier_type
supplier
city_key
city
province_or_street
country
city
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی
هثالی اص ضوای صست فلنی
time_key
day
day_of_the_week
month
quarter
year
time
location_key
street
city
province_or_street
country
location
Sales Fact Table
time_key
item_key
branch_key
location_key
units_sold
dollars_sold
avg_sales
Measures
item_key
item_name
brand
type
supplier_type
item
branch_key
branch_name
branch_type
branch
Shipping Fact Table
time_key
item_key
shipper_key
from_location
to_location
dollars_cost
units_shipped
shipper_key
shipper_name
location_key
shipper_type
shipper
سمیه علیساده هیات علمی دانطکذه صنایع دانطگاه خواجه نصیر طوسی