بسم الله والحمد لله و الصلاة والسلام علي رسول الله
أهلا وسهلا بكم في الدوس التاني من chapter ال
clustering كنا في التسجيل السابق تكلمنا عن ال
clustering بشكل عام وقلت ال clustering هي عبارة عن
تقسيم ال data set إلى مجموعات محددة عددها مسبقا
بناء على تقارب أو تشابهالـ instances اللي موجودة
في ال data set اللي موجودة يعنى وكنا خلصنا في
نهاية المحاضرة انه احنا فعل .. او في نهاية التسجيل
عفوا ان احنا فعليا ال .. ال clustering واحد من
اتنين اما partition ال clustering او hierarchical
clustering فال partition ال clustering معناته ان
انا بتكون ال groups او المجموعات اللي عندي
disjoint مافيش بينها او non overlapped مافيش في
بينهم تقاطعفي الاناصر يعني كل element موجود في
مجموعة واحدة فقط لكن بالـ Hierarchical Clustering
لما انا بكون في عنده Hierarchical Tree أو في عنده
Hierarchical معينة لأ بيصير في عنده ممكن ال
element اللي بينتمي لأكثر من cluster تماما مثل
علاقة الأعداد أو المجموعات الأرقام مع بعضها اليوم
ان شاء الله تعالى زي ما احنا متفقين انه هنبلش في
موضوع ال Partitional Clusteringطبعاً لما أتكلم على
الـ Partition & Clustering يعني أنني أتكلم على ..
عفوا تمام
أنا أريد الـ pointer
عندما أتكلم عن الـ Partitional Clustering يعني
أنني أبحث عن الـ Natural Groups للـ Components
اللي موجودة عندي على ال data اللي موجودة بناء على
تشابه معين أو بعض التشابه في العناصر اللي موجودة
عندها وبالتالي ال cluster هنا في ال Partitional
Clustering أنا أجسم العناصر زي ما قلنا مجموعات أو
توزيع طبيعي أو أبحث عن توزيع طبيعي لل data بحيث
أنه يكون عند كل element موجود في مجموعة واحدةوفي
نفس
الوقت، الـ Clustering Algorithm يدّيني الـ
Centroid أو النقطة الأساسية التي تتمثل مركز الـ
Centerأو بتمثل المركز تبعت ال cluster اللي موجود
عندها المركز ال cluster أو المجموعة اللي موجودة
عندها عشان أحدد العضوية ال cluster هذا يعني انا زي
ما قلنا سابقا هي عبارة عن مجموعات معروفة مسبقا
يعني واحدتلت مجموعات ترقيم
مجرد اسم للمجموعة عشان هيك انا بحدد عضوية
المجموعات ال algorithm بياخد ال data points اللي
موجودة عندى هنا وبحسب ال instances ما بينهموبين
الـ Centroid اللي موجودة عندها طب ال Centroid اللي
هي ال centers اللي اتفقنا عليها مش موجودة عندى اول
مرة بياخدها بشكل عشوائي و بروح بجسم يعنى بروح
بياخد مجموعة طبعا الان في عندى المجموعة بتكون شفاي
لما يكون فيها على الأقل عنصر واحد فإيش هو بروح
بفترض بروح بفترض ان كل مجموعة بتبدأ بعنصر واحد
اللي هو بمثل ال center و بصير بعد ذلك يدور على
العضوية المجموعات على قرب الـ element من الـ
center هذا كل مكان قريب ل center من التلاتة هدول
فهو بيتم ال مجموعة اللي بتمثلها ال center اللي
موجود عندها و ال output طبعا من ال algorithm هذا
هي عبارة عن عمليةdescription أو statistical
description وصف إحصائي لل data set الموجودة مين هو
ال centroid وإيش هي البيانات اللي موجودة عليه وإيش
هي البيانات اللي موجودة في داخل ال clusters ال
cluster اللي موجود عندها طبعاً لما أنا بتكلم انه
كي عند الكيمين ال cluster algorithm من أشهر ال
algorithm وأبسطها في الفهم في اللي استخدم مع ال
cluster طبعاً كي العددالذي نتكلم عليه و الـ means
المقصود فيه المتوسط الحسابي للنقاط اللي موجود
عندها ال .. طبعاً قلنا أبسط algorithm وهو الأكثر
استخدامه في عملية ال clusterings الموجودة بدور على
center يجتهد ال algorithm أو ال algorithm بحاول
يدور على centers و بال center هذا بمثلمطبقة معينة
بتمثل ال cluster و بضل يعيد في العملية اللى موجودة
عندى هن هم عبارة عن قطبتين زى ما قولنا بروح باخد
center و ال center هذا بروح بجيب العناص بشوف من
العناص القريبة منه لحسب عنه يعني لو انا قلتله في
عندي مثلا اربع مجموعات معناته في عندي اربع نقاط
رئيسية اربع نقاط مركزية اللى هى ال centers تبع ال
clusters المجموعات اللى عندي و عليها ببدأ يشتغل
الآن ال algorithm هذا بضل
يتكرر بتكرر في عمليتين الأولى بروح بخصص كل data
point لل cluster center يعني الآن المفروض تبعا
لهذه بروح بحدد قرب أو بعض العناصر أو شبه
similarity بحدد تشابه العناصر ال data instances مع
ال centers اللي موجودين عندهاوبالتالي بروح بخصصلي
إياها لل center الأقرب ومن أجل تحقيق هذا الكلام في
عندي distance function أو similarity function اللي
عادة بنسميها distance المفهوم distance أكثر في
الأرقامالان في الـ Included Distance و الـ
Manhattan Distance شوفناهم سابقاً و هنشوفهم الآن
كأن نذكر بعض فيهم جاكارد و Spearsman و Spearman
عفوا و الهامينج و الكوزاين بعد هي كد لما بروح بدور
ال algorithm بظل يكرر في العملية هذه و بخصص ال
instances اللي ال cluster لما يكون في .. لما يثبت
و يبطل تتغير أو يصير فيه يعني تغيير على ال data
اللي موجودةبنذكر مع بعض الـ distance function أو
الـ similarity function لما تكون ال instance عبارة
عن مجموعة من الأرقام
طبعا اللي بنتكلم احنا جاعدين ان ال distance
function هذه او ال similarity function سمناها
similarity او distance function لانه ال .. ال ..
لما انا بده اوصف rows او بده اوصف ارقام قربها او
بعضها من بعضها او تشابهها من بعضها معناه ان انا
جاعل بتكلم على نقاط طبعا لما انا برثم ال object
تكون موجود عندى في ال space او مرسومة عندىحتما
النقطين المتقاربات المسافة اللي بينهم بالدليل على
تشابه العناصر اللي موجودة بينهم طبعا شوية شوية
هتصير الأمور بالنسبة لنا أفضل لو أنا قلت لك في ال
space هذا على سبيل المثال أو قلت لك في ال space
هذا قلت ان في نقطين هذول نقطة هنا ونقطة
هنا ونقطة هنا
من اكثر نقطين متشابهتين او بلاش اقرب نقطين لبعض
حتم
النقطين اللي بينهم ال distance اصغر ما يمكن طيب
لو انا جدي قلت ان في عندى نقطة هنا غير اللون بس لو
قلت ان في عندى نقطة هنا
النقطة هذه أقرب لمين؟ لو انا قلت لك هذه النقطة
تشبه مين؟ تشبه مين؟ مافيش شبه هذه نقطة موجودة في
ال space معناته انا هروح أحسب مسافتها ومسافتها
والمسافة الأقصر هي بتمثل .. هي بتكون أقرب لمين
للنقطة اللي موجودة عندها طبعا احنا كلنا نعرف سابقا
زي ما قلنا المنهات و ال distance اللي موجودةعنا لو
انا افترض ان في عندى 2 نقطين ال X و ال Y كانت 2
points و ال 2 points هدول انا بدى احسب ال distance
بينهم لما اتكلم عن ال Euclidean انا بتكلم عن الجدر
الترديعي لمجموع مربعات الفروق ما بين مكونات
النقطين اللى موجودة عندى
وطبعاً كذلك الان مع الان بينما المنهات ال distance
هي عبارة عن مجموع القيم المطلقة للفروق ما بين
مكونات النقاط اللي موجودة عنا
و طبعا هاي قولنا احنا سابقا انه انا لما بتكلم على
منهار بتكلم على ال Euclidean معناته بتكلم على الخط
المستقيم اللي باللون الأخضر هذا اللي هو بتطبق
نظرية في ال course بين اي نقطين و لما بتكلم على
المنهار تاني معناته بتكلم على الدقاق اللي موجودة
عندها شكلي لما خدت العناصر
ماعدلتش الرسم تبعتي كده
صح
الان لو انا بدأ اخد نظرة في جيف الفايل الجيف بكتشر
اللي موجودة قدامي اللحظه انا بتكلم على عشرة
iterationأنا بدأت من iteration رقم واحد اتنين
تلاتة اربعة و لاحظوا معايا ان المربعات هذه هي ال
center او ال centroid لل clusters انا بقول جسم ال
data لاربع مجموعات و ال data هاي كلها مختلطة مع
بعضها بدأت الانس بناء على ال centers الألوان تتوجه
مع بعض مع كل iteration وهذا فعليا اللي بسوي ال K
meanانه بياخد random center في الأول و بعدها بيحسب
ال distance بين ال centers هاي و كل النقاط اللي
موجودة و كل النقطة بتصنف مع ال center بناء على
shortest distance أو ال similarity function اللي
احنا بنعرفهاكصورة ثابتة هي ال data set روحت قولتله
جسملي اياهم لمجموعات فراح اخدت تلات مجموعات طبعا
هان اللي هي اخدت المثلثات هتمثلت three different
centers ايهم حتى لو كان لان ال selection الاولى لل
centers الاولية by random حتى لو كانوا كلهم
موجودين مع بعض الا غير انه بيشتغل في ال .. لو اجوا
كلهم في نفس ال center ماعندي مشكلةلأنه بعد ذلك
سيقوم باختيار الـ average أو الـ main تبعتهم فقال
لي هاي ال data افترض في ال initialization زي ما
قلنا هى ياخذ ال random centers three centers حسب
المطلوب by random وراح بدأ يخصص المجموعات فراح بدأ
يحسب
اللي قلنا أننا هنعمل initialization حطّد الـ three
-centroid أو الـ three-center by random و بعد هيك
بدأ يخصص النقاط بناء على ال distance طبعا يا جماعة
الخير لما انا بدي اجي اتكلم النقطة high أو النقطة
high high distance هان و هحسبها مع هان و هحسبها مع
هان و هصنفها لأقرب center لأقصر مسافةوبالتالي
الأحمر هنا صارت هذه كل النقاط طبعا هذه النقاط هي
أقرب للأخضر وهذه الأزرق فضلك في ال iteration
التانية الآن في الخطوة التاليةأسرح سواهي يتحدد
الأحمر كلياته الأزرق فرح حسب المتوسط لكل النقاط
اللي باللون الأخضر المتوسط لكل النقاط اللي بالأحمر
المتوسط لكل النقاط اللي بالأزرق الداكن بينجوسين
يعني حسب ال main لكل ال cluster بشكل مستقل
والمتوسط هذا هو أخدوا ال centroid لل next
iteration recompute ال center هي حسب ال center من
جديدو راح ايش بدأ reassigning بدا يروح يعمل ال
center التاني و بعدها بحسب بعد ما بخلص بحسب ال
center كمان مرة و بروح بخصص النقاط و بحسب ال
center كمان مرة و بخصص النقاط لحد ما يصير بعد هيك
ان ال center مايصيرش فيه عليه تغيير او بينجوسين
تبطل النقاط تتنقل تتنقل ما بين ال cluster و التاني
طبعا هذا هو لكن
النجاح الكيميي بيعتمد على عدد ال clusters اللي انا
بطلبه يعني كل ما قلتله ديني عدد cluster صح بكون
انا بشتغل صح طبعا انا لو قلتلكوا ال data هاي و قلت
له two clusters هيديني اياهم اتنين لكن في حين قبل
شوية هي نفس ال data اللي موجودة هاد شفناها و انهم
منفع يكونوا تلاتة
التقسيم يعتمد على عدد ال clusters أو ال k التي
أطلبها منه تعالى نشوف بقول في المثال الأول لجسم ال
data اللى موجودة عنده ل two clusters
الخطوة رقم واحد ان انا هشتغل على random center
random center معناته خليني اخد ال C1 equal 3 و C2
equal 4 طبعا عادة ان ال random selection بتمن خلال
ال data set اللي موجودة الان الخطوة التالية هروح
احسب ال distance او المسافة بين كل element و ال
two centers اللي موجودينعندي و ال two centers اللي
موجودين عندى خليني انا امسحهم بس عشان نوضح ايش
اللي هيصير الآن بعد هيك زي ما قلنا هيكون هياخد ال
element هذا كل element و يحسبه مع ال center الأول
ويحسب الـ distance مع الـ center التاني ويخصصه أو
يحطه في المجموع يعني بين قصين هو الآن أنشأ
مجموعتين فارغات أنشأ مجموعتين فارغات تمام فيهم في
centers فقط مثلتهم تلاتة أو أربعة وراح هيضيف
العناصر في المجموعتين هدول بناء على بعض أو قرب أو
تشابه ال element لما لل centers اللي موجودين هنا
تنين ناقص تلاتة واحد تنين ناقص اربعة اتنين فال
distance ل C واحد اكثر فصنّف ليها هان اربعة ل واحد
اربعة مع تلاتة واحد اربعة مع اربعة صفر اللي هي ال
distance الفرق اللي ما بينهم راحظوا أنا كنت بتكلم
عن absolute value
عشرة لتلاتة سبعة عشرة لاربعة ستة معناته مع ال
cluster التاني اتناشر لتلاتة تسعة اتناشر لاربعة
تمانية معناته مع ال cluster التاني تلاتة تلاتة
لتلاتة صفر تلاتة لاربعة واحد معناته مع ال cluster
الأولشوفت كيف لا حد ما تخلص ال data set ممتاز خلصت
ال data set الآن بروح باخد المتوسط تبع ال cluster
الأول وهذه ال center الجديد و باخد المتوسط تبع ال
cluster التاني وهذه ال center الجديد تبعتها و بعيد
الكرة تبع اللمين لل center الجديدة تمام الآن من
وين الكرة مع ال data set الأصلية تنين مع اتنين و
نص نص لل cluster الأولأربعة في المقارنة مع ستة عشر
طبعاً انا بتكلم اربعة لاتنين و نص واحد و نص اربعة
على ستة عشر معناته بتكلم احد عشر اتن عشر احد عشر و
نص
أربعة ل .. أربعة
ل .. أربعة ل .. أربعة ل .. أربعة ل .. أربعة ل ..
أربعة ل .. أربعة ل .. أربعة ل .. أربعة ل .. أربعة
ل .. أربعة ل .. أربعة ل .. أربعة ل .. أربعة ل ..
أربعة ل .. أربعة ل .. أربعة ل .. أربعة ل .. أربعة
ل .. أربعة ل .. أربعة ل .. أربعة ل .. أربعة ل ..
أربعة ل .. أربعة ل .. أربعة ل .. أربعة ل .. أربعة
ل .. أربعة ل .. أربعة ل .. أربعة ل .. أربعة ل ..
أربعة ل .. أربعة ل ..
أربعة
لبأوقف و ببطل الشغل لما فعليا ال cluster أو ال
center بعد هيك تثبت لماذا؟ إذا ثبتت ال cluster أو
ال center اللي موجودة عندي هنا معناته أنا مافيش
عندي تليير بعد هيك بنجوسينت صار فيه ثبات و هيك صار
في عندي كل نقطة موجودة في ال cluster الحقيقي اللي
موجود عندك وبعد هيك ستكون كل iteration على الفاضي
لماذا؟ لأن الـ Center لم يتغير بمعنى التوزيع كما
هي و هذه هي أخر توزيع أحصل عليها طيب، تعالى نطبق
نفس المثال لكن مع more dimension في الـ2D بقول أنا
فيه عندي data set مكونة من تمام نقاط اللي بتجسمهم
ل three clusters باعتماد على المنهاتين distance
هذه النقاط اللي موجودة عندها طيب،
by random؟لازم اختار center اخدنا اتنين و عشرة و
اخدنا خمسة و تمانية و اخدنا واحد و اتنين بينفع
التلاتة تكون ورا بعض بينفع random الكلام random
جماعة الخير و بدك تشتغل و تشتغل ال distance زى ما
قولنا هي بتقعد تتكلم و تقول انت ماتستخدم المنهاتن
المنهاتن distance المعرفةالمجموع .. المجموع القيم
المطلقة للفرقات بين عناصر النقاط اللى موجودة عندى
أسهل حاجة هيك ان انا اروح انش جدول بالشكل هذا هى
ال data point اللى عندى وهى ال centers ال initial
centers C1 وC2 وC3طيب الآن بدروح أحسب ال distance
صفر اتنين نقص اتنين صفر زائد عشرة نقص عشرة صفر صفر
اتنين نقص خمسة تلاتة زائد عشرة نقص اتنين عشرة نقص
تمانية اتنين يعني مجموعة خمسة اتنين نقص واحد واحد
زائد عشرة نقص اتنين تمانية
الان مباشرة بقدر اقرر ان هذا اقصرDistance موجودة
اللي هي الصفر معناته هذا أقرب ما يكون من ال
cluster الرقم واحد من ال center الأول فهو بينتمل
ال cluster الأول بعيد الكرة مرة تانية اتنين ناقص
اتنين صفر خمسة ناقص عشرة خمسة هي خمسة الآن اتنين
ناقص خمسة تلاتة خمسة ناقص تمانية تلاتة معناته ستة2
-1 1 5-2 3 1 3 4 يعني الـ distance الأقصر هي عبارة
عن الأربعة فهذا أقرب ما يكون لك لل cluster رقم
تلاتة مع كذلك هنا 8-2 6 4-10 6 طبعا ليش أربعة نقص
عشرة ستة لما نتكلم بال absolute value من هاتين
distance ما تنسوشالـ distance التانية سبعة الـ
distance التالتة التاسعة معناته أنا أقصر مسافة
تسعة معناته في ال cluster التاني خمسة صفر لاحظوا
لأن ال data set أو ال centers أخدتها معايا فلازم
تطلع معايا أصفر بشكل أو بأخر لأ في أي حسب ال
center اللي موجود عندها فلما حسبنا تمام تمام حسبنا
كل ال distances وزعنا التمن عناصرعلى ال classes
اللي موجودة يعني a1 في c1 من ال cluster الأول a2 و
a7 في ال cluster التالت a3 و a4 و a5 و 6 و 8 في ال
cluster التاني تمام هذه التوزيع اللي عندى بناء على
ال clusters اللي موجودة عندها إيش المطلوب مني الآن
المطلوب مني الآن أحسب ال main لكل cluster
يعني متوسط النقاط اللي في اللون الأسود في ال
cluster الأول هيهم بروح بجمع النقاط اللي بتاخد
واحد اللي في ال cluster الأول و بحسب المتوسط
تبعتها مافيش غير النقطة مانا في المتوسط تبعتها مثل
مغير هذا ال center ماتغيرش اللي باللون الأزرق هيهم
تنتين نين زائد واحد تلاتة يعني واحد ونص خمسةسبعة و
أثنين عفوا سبعة يعني تلاتة و نص هذا ال center
التالت ال center التاني هيكون عبارة عن تمانية
زيادة خمسة زيادة سبعتاش هي عشرين وهي ستة ستة و
عشرين هي تلاتين تلاتين على واحد اتنين تلاتة اربع
خمسة يعني ستةثلاثين على خمسة ستة و ايه في اندي هان
اتناش سبعتاش اتنين و عشرين اتناش
سبعتاش واحد و عشرين تلاتين برضه ستة و ستة معلنات
ال news centers تبعتي انا هتكون بعد الحسبة تبعتي
اتنين و عشرةبالمتوسطات 6 6 1.5 3.5
سينترز لاحظوا أنا ما زلت ماتكلم من ال first
iteration اللي موجودة عندي الآن هاخد ال new
centers هدول و اروح فيهم على ال next iteration او
ال second iteration هاي حطيت ال centers اللي جديدة
اللي موجودة عندي هان و بديت احسب المسافة من جديد
بديت احسب المسافة من جديد و بنفس الكلام الآن بحسب
على ال centers الجديدة مع كل raw اللي موجود عندي
هان و باخدلأ مع نهاية العملية بروح بحسب ال centers
بحسب ال main لل centers اللي موجودة هيصار في عندي
واحد و واحد
الان سار في عندي واحد و واحد هي اتنين و اربعة ستة
على اتنين تلاتة عشرة او تسعة تسعتاش تمانية و عفوا
تسعة و نص هذا ال center الجديدة اللي هشتغل عليها
وبالتالي انا هروح في iteration تالتة لان ال
centers مختلفة تماما عن ال centers اللي موجودة
هتركي كمالية الحسبة نفس الكيفية لحد ما تثبت معاك
للـ clusters اللي موجود عندك هنا طبعا فى كل ال
slide هذه تكتبها على ورقة أو تطبق عليها و تطبقها و
تجرب ال center التاني و التالتة و الرابعة و ال
iteration طبعا متى بده يجف بده يجف لما فعليا يبطل
ال center عندي يتغير تمام okay طبعا لأنه فى مشكلة
أحيانا بالمين بتظهر معايا لو كان فى عندي ال data
مش معمولةpre processing صح يعني فى عندي out layer
زى هى دى الان لو أنا جيت قولتلك المتوسط الحسابى
اللى هدول واحد و تلاتة و خمسة و سبعة و تسعة
هتقولليها okay cancer لكن لو أنا قولتلك بدل التسعة
عندي الف وتسعة هيكون متوسط الحسابى جديش متسعة و
خمسة معناته ال center تبع هيكون بعيد جداالـ Center
تبعي بعيد جداً معناته يزيد من نقطة الـ convergence
وممكن فعليا يدينا نتيجة خطأ انت تخيل ان ال data
set 10 عبارة
عن مجموعات
هذه النقطة هي الـ 250 لما تكون هذه الـ Center
فتأخذ هذه العناصر معاها
لأنها الأقرب لما تختار المتوسط سيصبح هنا و هنا و
هنا و هنا و هنا و هنا و هنا و هنا و هنا و هنا و
هنا و هنا و هنا و هنا و هنا و هنا و هنا و
هنا و هنا و هنا و هنا و هنا و هنا و هنا و هنا و
هنا و هنا و هنا و هنا و
هنا و هناالـ median زي ما احنا بنعرف سابقا و نفس
الخطوات السابقة بتظل عندها لكن بدل ما بحسب زي ما
قلتلك المتوسط او متوسط بحسب او باخد القيمة الوسطى
اللى موجودة عندها او الوسطى الحسابىالـ Main
advantage تبع تلميذ الـ Medium زي ما قلنا أنه
لايتأثر بالـ Extreme Value أو بالـ Outlier Value
اللي موجودة هنا السؤال اللي بيدرح نفسه الآن هدد كل
شغلنا سابقا كان مع أرقام مشهور لو كانت ال data
اللي عندي عبارة عن binary 01 01 ده ال data binary
يعني الآن عند قيم 01 01 معناته ممكن تكون في عند
القيم متشابه ما بين ال clustersعشان هيك جالك لما
تكون ال data ال binary اللي عندي أو ال variable
اللي عندي كلها binary بنفعش أروح أطبق عليها ال
Euclidean أو المنهاتين لأ بصير في عندي similarity
function أخرى لازم أتعامل معاها و طبعا هنا فعليا
أنا بصير بدأ أدور على ال dissimilarity احنا سابقا
ذكرنا ان في عندي ال Euclidean و ال Jacquard و ال
Sparsman و ال Hoffman code إلى أخره لكن خلّيني
أتكلم احنا علىالـ binary data بصير احسب الـ
dissimilarity عدم التشابه يعني انا بعد ما أدوّق كل
مكان عدم التشابه peer تمام معناته التشابه عندها
صغير وبالتالي انا نفس الفكرة ان انا بدور على ال
smaller value دائماعشان اتكلم عن انه في شبه او
مافيش شبه لكن زي ما قلنا ان انا بتكلم على عدم
التشابه بشكل عام لما بكون في عندى ال data set او
ال point تبعتى فيه عبارة عن value من صفر واحد ال
dissimilarity تبعتنا عبارة عن non negative number
لما بيكون closed to zero معناته نغطي نقراب جدا من
بعض أو متشابهات و العكس كل ما زاد الرقم كل ما كبل
الرقم معناته الرقامين هدول مختلفين عن بعض يعني
هنوجه اني بجيس الاختلاف الآن هنوجه اني بجيس
الاختلاف قعد كنت بجيس التشابه و الأن بدي أجيس
الاختلافاللي الأن من الـ matrix اللي ذكرناها
سابقاً اللي هي الـ jacquard بدك تفترض أنه أنا
فعلياً عندي data 6 باعتي مكونة من ال object الأول
وال object التاني عشان أنا أخد قيم ال value ال
binary value اللي موجودةالان بدأت توزع 01 الـ I و
الـ J الـ I و الـ J A و B و C و D هذه العناصر اللي
بتمثل المصفوفة اللي عندي اللاحظوا أنا جمعت الـ B و
الـ C
عشان نفهم الصورة صح و نشوف بالمثال يتضح المقال زي
ما بقول المثل تعالى نروح نشتغل handو نشوف ايش
العناصر اللي موجودة عندها بيجي بقول افترض ان هاي
في عندى انا ال binary data بدي اعملها partitioning
cluster هذه بتمثل patient record ال records او
الموجودين عندها ما بين ال positive و ال yes طبعا
بتكلم على اسم الشخص مش هدخل معايا حتما في الحسبة
اللي في عنديالـ fever عفوا الدرجة الحرارة الكف
اللي هي السعال الفحص الأول التاني التالت الرابع و
positive بواحد و ال yes بواحد و ال no ايه بصفر و
ال negative ايه بصفر الان بدأ انا ارجع معاك لهان
لما انا جينا من هنا نتكلم هنا ال a ايش ال a بتمثل
ال a بتمثل هي عبارة عن مجموع
النقاط اللي التقت فيها الـ two objects I و J كانت
النقاط الواحد بقى بالـ B أو الـ D مجموع النقاط
اللي كانوا فيها زي بعض لكن بالصفر C هي النقاط اللي
كانت ل ال object J واحد و ال object I صفر و هكذا
تعالوا نجي على المثالاللي موجود عندنا هان طيب إذا
احنا قلنا هذه بواحد معناته انا بده اروح اخد two
rows موجودين عندي هان بالمثال اللي موجود عندنا هان
بدنا نشتغل مع جاك و ماري مع بعض انا بده اشوف مين
اقرب اتنين من هدولة لبعضهم معناته انا بده اشوف جاك
و ماري و جاك و جيم و ماري و جيم هي الاحتمالات
التلاتة اللي موجودة معناته انا بده اشتغل في
البداية على
الـ two rows اللي موجودين عندها وين التنين كانوا
positive وين التنين كانوا فيه عندى واحد كام عمود
كان فيهم التنين قيمتهم واحد هذا واحد هذا اتنين
خلاص معناته واحد واحد هي اتنين اللي هي ال a تمام
طيب جاك واحد وماري صفرJack 1 وماري صفر مافيش Jack
0 وماري واحد هيها نقول ال positive واحد هيها واحد
الان negative 00000 هي تلاتة هي المصفوفة تبعتي
تمام الان احنا قلنا هي عبارة عن
abcd نجمع a و b او ناخد المتلت العلوي هذا واحد
زائد صفر على واحد زائد صفر زائد واحد زائد اتنين
تلاتة و تلاتين لما انا بروح بحسب لماري بحسب لجاك و
مق و جيم بنفس الكيفية تمام دعنا نعيدها هنا من ال
eraser
طبعا القيمة ده هتتغير الان انا هروح اشتغل مع او
نحاول نعمل contingency matrix جديدة بلون جديد نغير
لون الجلم دعوني
اخد blow الان هي contingency matrix ما
بين الان بدنا نشتغل marryأو jack و
gem طبعا مش فارقة كتير الترتيب اللي ما بينهم قولنا
واحد صفر هاي
واحد و صفر وهنا فوق الخطوط هادى بدي أضيف الأرقام
اللى أنا بدي يعنيطيب نبدأ بواحد و واحد عدد النقاط
اللي التقى فيها جاك وجيم مع بعض هي واحد positive
هذه negative مافيش
واحد ال
pointer بين واحد
طيبالان جاك واحد وجم صفر جاك واحد وجم صفر جاك واحد
هيها وجم صفر هيها معناته واحد تمام
بعد هيك جاك صفر وجم واحد جاك صفر مع الكف واحد
والان صفر وصفر
واحد اتنين ثلاثة معناته
الآن العلاقة الـ dissimilarity الـ dissimilarity
بين جام جاك و جيم واحد زائد واحد على واحد زائد
واحد زائد واحد كمان
الان بعمل كمان ما بين ماري و جيم النفس الكيفية
لمبادئ بطلع الان بدي اقارن جمهات الخيرأصغر
dissimilarity معناته أعلى تشابه كل ما كبرت ال
dissimilarity معناته الاختلاف بينهم كبير جدا
معناته انا اكتر اتنين متشابهين او اقرب اتنين لبعض
اللي هي مين جاك و ماري حسب ال jacquard computation
او ال jacquard metric function اللي احنا بنتكلم
عليها لإيه الدلال dissimilarityلاحظوا سابقاً كنت
بتكلم عن الـ distance أو ال similarity distance أو
ال distance function كنت بتكلم عن ال shortest
distance بس الآن بتكلم عن ال shortest
dissimilarity طبعا و السيميلارتي لما انا بدي ال ..
ال
.. ال .. الآن هذه اكتر تشابه او اكتر اقل اختلاف
بين Jack و Maryلو انا بدي اتكلم عليك تشابه خد واحد
ناقص معناته كل ما بدي ازيد التشابه عندهان مابدي
اصير فيهان وبالتالي بصير فيني عند جاك وماري اكتر
اتنين متشابهين المحتمل انهم ياخدوا نفس المرض بناء
على ال data set يكون عندهم نفس المرض لان هذول اكتر
اتنين متقاربين في المحوصات وفي الاعراض اللي موجودة
عندنا بينما جيم وماري اكتر اتنين مختلفينوبالتالي
لا نعتقد أو مافيش اعتقاد انهم يكونوا من نفس المرض
أو منهم نفس المشكلة المرضية اللي عندهم من اللي لو
بدنا نتكلم على المزايا وعيوب ال K-Means المزايا
simple سهل ان انا افهمه ال item يتخصص بشكل تلقائي
ل clusterالـ disadvantages لازم تتصنف لازم تتصنف
لازم
تتصنف لازم تتصنف لازم تتصنف
الـ sensitive to outlier زي ما شوفنا ان الـ
outlier بتغير الـ center sensitive to initial seed
اللي هي ال random center اللي في الأول لو كانت
دقيقة عندي لو كانت في نص ال .. لو كانت هي ال
center ممكن اوصل من أول iteration أو التانية لكن
لو كانت بعيدة معنى انه هياخد منه وجد في ال
convergence لما يصل لنهاية الحل طبعا صعبة غير
مناسبة للي يشوف ال clusterمن الـ hyper ellipsoid
أو الـ hyper shapers اللي حيكون لو كانتش ال data
أو ال data متواجدة بأشكال صعبة مش هيشتغل عليها
طبعا هنا بنتكلم اش .. طبعا الشغلة الأخيرة اللي هي
علاقة بال failure فعليا مش نقصيه طب هو فعلا بيفشل
تماما اللي
بيفشل اذا انا فعليا مادتهوش رقمالـ cluster الحقيقي
أو المناسب لل data set اللي موجود عندها كذلك بيفشل
ال
إن كل cluster أو التعرف تبقى على ال center لما
يكون عندك ال center يعني أنك تتكلم عن دائرة أو
مربع طيب لو كان في عندك ghost او care او اي shape
مختلف ايش ال center بدنا نفهمه؟ مش هيظبط لأن لو
قلت لك في عندك شكل هلال ايش ال center تبعتها؟مش
هتظبط لو انا جيل قلتلك ان في عندي المنحنة ايش ال
center تبع المنحنة مش هتظبط لكن ممكن افهمها في
مثلث افهمها في دائرة افهمها في مستطيل مستطيل او
مربع ممكن افهمها في اشكال اللي موجودة عندك تعالى
شوف هنا الان لما انا روحي قلتله ال .. ال .. ال ..
لما تكون ال data اللي عندها الها different
densities او
كتابتها مختلفة ال chemistry بيفشل ليش؟ لأنه بيعتمد
على المسافة فالان هذا فعليا ال data هذا ال cluster
الحقيقي هذه التوزيع لكن لو انا اجيت و قلتلك هذه
النقطة هتصنفها مع اي cluster لو انا افترضت انه ال
center هنا
و الـ center هنا و ال center هنا فممكن
النقطة high تكون أقرب من هنا فالنقطة
high هي أقرب لهذه وبالتالي
لما يكون في عندي different densities معناه ان في
عندي مشكلة مع الكيمياكذلك عندما يكون لدي nano
spherical cluster تخيل انه سيجلب لي cluster عندي و
هاي ال centers اشتغل على three centers هدول اريهم
كيف
بده يجيبليها او عندما يكون لدي ال complex shape
بالشكل هذا سيقول هاي center عندي هنا وهي center
هنا او هذا ال distance صحيحة او هناهل هذه النقطة
هي الأقرب لها ؟ فهو الـ shape تبع ال complex فهذه
الحلقات كلها بيفشل فيها ال K مين طبعا احنا فعليا
في عندنا algorithm تاني زي ال DB scan و هذا ال
algorithm فعال جدا في التعامل مع ال .. بطلبش مني
عدد ال K و بيشتغل و بحاول يتعرف على ال complex
shape لأنه بيعتمد على ال density و بحاول يجد لها
يتعرف على الـ clusters بناءً على ال density اللي
موجودة لكن تبقى زي ما قلنا هل ال evaluation أو
التقييم تبعي تبع أداء ال cluster صحيح أم لا بناءً
على أداء ال clusters ومعرفة بعدد ال clusters
الحقيقية لل data اللي موجودةنشوفكوا على خير ان شاء
الله تعالى في المحاضرة هذه اتعرفنا على الكمين
وشوفنا كيف نحسبه واتخرفنا على مزاياه وعيوبه
التسجيل اللي جاي ان شاء الله تعالى هنتقل للـ
Hierarchical Clustering السلام عليكم ورحمة الله