اعتلاج شرطي

احد المصطلحات في نظرية المعلومات

في نظرية المعلومات، تحدد الإنتروبيا الشرطية (أو الالتباس equivocation) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي بالنظر إلى أن قيمة متغير عشوائي آخر معروف. هنا، يتم قياس المعلومات في شانون، ناتس، أو hartleys. انتروبيا مشروطة مكتوب مثل .

تعريف

عدل
 
يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة   و   . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة  . الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية   ، مع انتروبيا الحمراء إنتروبيا مشروطة   . الدائرة على اليمين (الأزرق والبنفسجي)   ، مع المجال الأزرق   . البنفسج هو المعلومات المتبادلة   .

الانتروبيا الشرطية   بفرض   يعرف بـ

 

 

 

 

 

(Eq.1)

حيث   و   تدل على مجموعات الدعم   و   .

ملاحظة: من المعتاد أن تكون التعابير   و   للإصلاح   يجب أن تعامل على أنها تساوي الصفر. هذا بسبب   و   [1]

شرح بديهي للتعريف  : حسب التعريف ،   حيث  .   مرتبطة بـ   محتوى المعلومات   بفرض   وهو مقدار المعلومات اللازمة لوصف الحدث   بفرض   . وفقا لقانون الأعداد الكبيرة،   هي المعنى الحسابي لعدد كبير من التحويلات المستقلة .


انظر أيضًا

عدل

المراجع

عدل
  1. ^ "David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book". www.inference.org.uk. مؤرشف من الأصل في 2020-01-07. اطلع عليه بتاريخ 2019-10-25.