نظرية شانون هارتلي

تخبرنا نظرية شانون-هارتلي في نظرية المعلومات، أن المعدل الأقصى الذي يمكن أن تتوجه به المعلومات هو عبر قناة اتصالات بعرض نطاق ترددي معروف فيه بوجود الضوضاء . إنها طريقة مجربة لنظرية تشفير القناة الصاخبة على هيئة نموذجية لقناة اتصالات تناظرية مستمرة الوقت تخضع للضوضاء الغاوسية . هذه النظرية تعمل على تحديد سعة قناة Shannon لوصلة الاتصال، وهي ملتزمة بأقصى قدر من المعلومات الخالية من الأخطاء لكل وحدة زمنية يستطاع إرسالها مع عرض نطاق محدد في وجود تداخل الضوضاء، على سبيل المثال لو قلنا أن قوة الإشارة محدودة، وأن عملية الضوضاء الغوسية تتميز بقوة معروفة أو كثافة طيفية للقدرة. هذا القانون تقرر على أن يكون إسمه على اسم كلود شانون ورالف هارتلي .

بيان النظرية

مفهوم نظرية شانون -هارتلي ينص على سعة القناة $C$ ، وتلك النظرية تعني نظريا شد الحد الأعلى على محور المعلومات من البيانات التي يمكن نقلها في أدنى نسبة وتعسفا لنسبة الخطأ يجب استخدام متوسط قوة العلامة المستلمة $S$ عن طريق استخدام قناة تناظرية اتصالية تستجيب لضوضاء غاوس بيضاء مضافة (AWGN) للطاقة $N$ :

$C=B\log _{2}\left(1+{\frac {S}{N}}\right)$

أين

• $C$ هي سعة القناة بالبتات في الثانية، الحد الأعلى النظري لمعدل البت الصافي (معدل المعلومات، يُشار إليه أحيانًا $I$ ) باستثناء أكواد تصحيح الخطأ ؛
• $B$ عرض النطاق الترددي للقناة بالهرتز ( عرض نطاق التمرير في حالة إشارة مرور النطاق) ؛
• $S$ هو متوسط قدرة الإشارة المستقبلة عبر عرض النطاق الترددي (في حالة إرسال نطاق مرور مُشكل بواسطة الموجة الحاملة، يُشار إليه غالبًا بـ C ) ، ويُقاس بالواط (أو تربيع فولت)
• $N$ هي متوسط قدرة الضوضاء والتداخل على عرض النطاق، وتُقاس بالواط (أو تربيع الفولت) ؛ و
• $S/N$ هي نسبة الإشارة إلى الضوضاء (SNR) أو نسبة الموجة الحاملة إلى الضوضاء (CNR) لإشارة الاتصال إلى الضوضاء والتداخل عند المستقبل (معبرًا عنها كنسبة قدرة خطية، وليس كديسيبل لوغاريتمي).

التطور التاريخي

بداية العشرينيات من القرن الماضي، عمل هاري نيكويست ورالف هارتلي على تطوير فصيلة من الأفكار الأساسية التي تتعلق بنقل المعلومات، مثل ما يحصل في منظور التلغراف كنظام اتصالات. في ذلك الوقت، تلك المفاهيم بمثابة تخللات قوية بشكل فردي، لكن المشكله تكمن في أنها لم تكن جزءًا من نظرية شاملة. في القرن الماضي في الأربعينيات أتحدث، اجتهد كلود شانون في عمل نهضة ومفهوم مختلف لسعة القناة، استنادا فيها على جزئيات من أفكار نيكويست وهارتلي، ثم حولها لنظرية كاملة للمعلومات ونقلها.

معدل نيكويست

عام 1927 ، نيكويست أشار إلى أن عدد النبضات المنفردة الذي يقدر على إدخالها من خلال قناة تلغراف لكل وحدة زمنية مشروطة بتراخ عرض النطاق الترددي للقناة. في التدوين الرمزي،

$f_{p}\leq 2B$

$f_{p}$ هو تردد النبض (بالنبضات في الثانية) و $B$ هو عرض النطاق الترددي (بالهرتز). الكمية $2B$ غدا في وقت لاحق يدعى معدل نيكويست ، ويتجول بمعدل النبض المحدد $2B$ نبضات في الثانية كعلامة على معدل نيكويست . نشر نيكويست نتائج عمله في 1928 كقطعة من ورقته البحثية «موضوعات ينصب عليها التركيز في نظرية نقل التلغراف».

قانون هارتلي

في عام 1928 ، عمل هارتلي على إيجاد طريقة تقيس المعلومات ومحور خطها (معروف أيضًا باسم معدل إشارات البيانات R بت في الثانية). هذه الطريقة، التي عرفتى في وقت لاحق باسم قانون هارتلي، أصبحت مقدمة مهمة لمفهوم شانون الأكثر إبهاماً عن سعة القناة.

ناقش هارتلي بقوله أن الحد الأقصى لعدد مستويات النبضة التي يمكن تمييزها والتي يمكن نقلها واستقبالها بشكل معتمد يتم عبر قنوات اتصال محدودة بالمدى الديناميكي لتمدد الإشارة والدقة التي ربما للمستقبل من خلالها أن يميز مستويات الامتداد. على وجه الخصوص، إذا كان اتساع الإشارة مقصورًا على مدى [- A. . . + A] فولت، ومهارة المتلقي هو فولت ± Δ V، ثم الحد الأقصى لعدد نبضات متميزة تعطى M من قبل

$M=1+{A \over \Delta V}$ .

عن طريق أخذ هذه النظريات والمعلومات الخاصة بكل نبضة في بت / نبضة لتحصل اللوغاريتم الأساسي -2 لعدد الإشعارات المميزة M التي ببساطة يمكن إرسالها، معيار لمعدل الخط R على النحو التالي:

$R=f_{p}\log _{2}(M),$

$f_{p}$ هو مقياس للنبض، المشهور باسم المعدل الرمزي، في العلامات / الثانية أو الباود .

بعد ذلك فعل هارتليفعلته وقام بالجمع ما بين القياس الكمي المشار أعلاه مع ملاحظة نيكويست التي تخبرنا بأن عدد النبضات المستقلة التي يتوقع وضعها عبر قناة النطاق الترددي $B$ كان هيرتز $2B$ نبضات في الثانية، للوصول إلى مقياسه الكمي لمعدل خط قابل للتحقيق.

قانون هارتلي أحيانًا يستشهد على أنه مجرد توافق ما بين عرض النطاق الترددي التناظري ، $B$ ، بالهيرتز وما طلق عليه اليوم بعرض النطاق الترددي الرقمي ، $R$ ، بت / ثانية. في مناسبات أخرى يتم أخذها كمرجع بهذا الشكل الكمي، كمعدل خط قابل للتحقيق $R$ بت في الثانية:

$R\leq 2B\log _{2}(M).$

هارتلي لم يصل إلى طريقة لتحديد الكيفية التي يجب أن يستند بها الرقم M على غرار إحصائيات القناة وضجيجها، أو كيف السبيل إلى جعل الاتصال موثوقًا به حتى عندما لا تستطيع تمييز نبضات الرمز الفردية بشكل موثوق به على المستويات M ، طبعا من خلالاستعمال إحصائيات ضوضاء Gaussian ، كان يجب على العاملين المعنيين بتصميم النظام التركيزعلى إنتقاء قيمة متحفظة للغاية لـ $M$ لتحقق أقل معدل خطأ منخفض.

مفهوم السعة الخالي من الأخطاء كان في انتظار كلود شانون، الذي عمل على ملاحظات هارتلي التي كانت تناقش مقياس لوغاريتمي للمعلومات وملاحظات نيكويست التي تتحدث عن مدى تأثير قيود النطاق الترددي.

بطيبعة الحال لو أمعانا النظر إلى نتيجة معدل هارتلي التي تنص قدرة قناة M -ary وأنها قناة خالية من الأخطاء $2B$ الرموز في الثانية. بعض المؤلفين يتحدثون كما لوأنها قدرة. لكن مثل هذه القناة الخالية من الأخطاء تعتبر نموذجية ومثالية، وإذا تم اختيار M صغيرة بما يكفي لجعل القناة الصاخبة خالية من الأخطاء تقريبًا، بطبيعة الحال ستكون النتيجة أقل من مقدرة Shannon لقناة النطاق الترددي الصاخبة $B$ ، والتي تليها نتيجة هارتلي-شانون .

نظرية ترميز القناة الصاخبة والقدرة

التطوير الذي عمل عليه كلود شانون أعطى لنظرية المعلومات أثناء الحرب العالمية الثانية الخطوة الكبيرة التالية في فهم كم المعلومات التي يمكن إيصالها بشكل موثوق عن طريق القنوات الصاخبة. بناءً على منطق هارتلي، تكشف نظرية شانون طريقة لتشفير القنوات الصاخبة (1948) أقصى كفاءة ممكنة لطرق تصحيح الأخطاء مقابل مستويات تداخل الضوضاء وضياع البيانات. يُظهر إثبات النظرية أن رمز تصحيح الخطأ الذي تم إنشاؤه عشوائيًا هو أساسا يعتبر أفضل كود ممكن ؛ هذه النظرية تم إقرارها عن طريق إعطاء إحصائيات مثل هذه الرموز العشوائية.

إن نظرية شانون توضخ لنا كيفية حساب سعة القناة من خلال وصف دقيق للقناة وأحصائياتها، ويظهر ذلك في حالة وجود قناة صاخبة بسعة C والمعلومات المنقولة بمعدل خط $R$ ، ثم إذا

$R<C$

هنالك تقنية تشفيرية تمكن على عدم وجود إحتمالية الخطأ مستقبلاً وأن وجد فإنه سيكون خطأ بسيط وصغير. هذا يعني أنه من الناحية النظرية، ويعني ذلك أنه بالإمكان نقل المعلومات تقريبًا بدون أخطاء حتى حد تقريبًا $C$ بت في الثانية.

العكس من ذلك مهم أيضا. إذا

$R>C$

الخطأ يحتمل أن يزداد في المستقبل دون تقييد مع زيادة في المعدل. لذلك من المحال نقل أي معلومات تتجاوز سعة القناة وأن كانت هذه المعلومات تفيدنا. النظرية لا تناظر في الموقف النادر الذي تتساوى فيه السعة والمعدل.

نظرية شانون-هارتلي تساعد في تبيان سعة هذه القناة لقناة الوقت المستمر ذات عرض نطاق معروف ومحدد يخضع لضوضاء غاوسي. نتيجة هارتلي مع نظرية سعة القناة لشانون إرتباطاتا في شكل مكافئ ويعملان على تحديد M في صيغة معدلة تقيس خط هارتلي من حيث نسبة الإشارة إلى الضوضاء، ولكن لإقرار الموثوقية يجب أن يُشفر تصحيح الخطأ بدلاً من الحصول على مستويات نبض يمكن تمييزها بشكل موثوق .

إذا كان هناك شيء مثل القناة التناظرية الخاوية من الضوضاء، يمكن للمرء وباستطاعاته إرسال كميات غير مشروطة من البيانات الخاوية من الأخطاء والشوائب عبرها لكل وحدة زمنية (ملاحظة: ليس باستطاعة القناة التناظرية المعنية بالنطاق الترددي اللانهائي نقل الكميات من البيانات الخالية من الأخطاء، بدون قوة إشارة غير محدودة). ولكن مع ذلك، تتماثل القنوات الحقيقية لقيود تصدرها كل من النطاق الترددي المحدود والضوضاء غير الصفرية.

النطاق والضوضاء يؤثران على معدل الكميات المرسلة للمعلومات التي تأتي من خلال قناة تناظرية. طبعا القيود الخاصة بالنطاق الترددي لا تستلزم وحدها حد أقصى لمعدل المعلومات الأقصى لأنه من الممكن أن تأخذ الإشارة عددًا ليس قليلاً وليس معروفاً من مستويات الجهد المتفاوتة على كل نبضة رمز، مع تخصيص معنى مختلف أو تسلسل بت لكل مستوى متفاوت . مع مراعاة كل القيود المفروضة على الضوضاء المشوشة وعرض النطاق، ولا ننسى أنه يوجد حاجز لكمية المعلومات التي يمكن نقلها بإشارة من قوة محدودة، حتى مع استخدام تقنيات تشفير متعددة المستويات مختلفة.

القناة التي تدرسها نظرية شانون-هارتلي، يتم فيها الجمع بين الضوضاء والإشارة من خلال الجمع. والذي يعني بأن المستقبل يقيس الإشارة التي تساوي مجموع الإشارات التي تشفر المعلومات المطلوبة ومتغير عشوائي مستمر يمثل الضوضاء. هذه الإضافة تؤدي إلى عدم الإقتناع بقيمة الإشارة الأصلية. إذا كان لدى المستقبل القليل من المعلومات حول العملية العشوائية التي تولد الضوضاء، فيمكن من خلال المبدأ استرجاع المعلومات في الإشارة الأصلية عن طريق النظر في الحالات الممكنة لعملية الضوضاء. في حالة نظرية شانون-هارتلي، يُفترض أن الضوضاء نتيج عن عملية غاوسية ذات تباين معروف. نظرًا لأن تباين عملية غاوسية يكافئها قوةً، بالأحرى الإعتباد على تسمية هذا التباين بقدرة الضوضاء.

هذه القناة تدعى قناة الضوضاء الغوسية البيضاء المضافة، لأن الضوضاء الغوسية تضاف إلى الإشارة ؛ تعني كلمة «أبيض» كميات مناسبة من الضوضاء على معظم أو جميع الترددات التي ضمن عرض النطاقي الترددي للقناة. بإستطاعتك أن تنشأ هذه الضوضاء من المصادر العشوائية للطاقة وأيضًا من الأخطاء التشفيرية والقياسية عند المرسل والمستقبل على التوالي. بأخذ في عين الإعتبار لأن مجاميع المتغيرات العشوائية الغاوسية المستقلة هي نفسها متغيرات عشوائية غاوسية، فإن هذا يبسط التحليل بشكل مناسب، إذا افترض المرء أن مصادر الخطأ هذه هي أيضًا غاوسية ومستقلة.

دلالات النظرية

مقارنة بين قدرة شانون وقانون هارتلي

مقارنة إمتداد القناة بمحور المعلومات من قانون هارتلي، يمكننا من إيجاد العدد الفعال للمستويات المميزة M :

$2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)$

$M={\sqrt {1+{\frac {S}{N}}}}.$

الجذر التربيعي يمنع بشكل فعال نصيب القدرة إلى نصيب الجهد، وبالتالي فإن المستويات وأعدادها يتوافق بشكل أو أخر مع نسبة تمدد الإشارة RMS إلى الانحراف المعياري للضوضاء.

ليس من الصحيح تفسير هذا التشابه في الشكل بين قدرة شانون وقانون هارتلي على أنه يعني أن $M$ يمكنه إرسال مستويات النبض حرفيًا دون أي خطأ. هناك حاجة ماسة إلى المزيد من المستويات للسماح بالتشفير الزائد والعمل على تصحيح الأخطاء، ولكن المعدل الخاص بالبيانات الصافية الذي يمكن التعامل معه باستخدام الترميز يساوي استخدام $M$ في قانون هارتلي.

حالة تعتمد على التردد (ضوضاء ملونة)

في الإصدار الموضح أعلاه، يوضح أن الإشارة والضوضاء غير مرتبطين بشكل تام، وفي هذه الحالة $S+N$ تعتبر الطاقة الإجمالية للإشارة المستقبلة والضوضاء معًا. المعادلة أعلاه للحالة توضح أن الضوضاء المضافة التي لا تصبح بيضاء :$C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df$ ليس واضحاً مع التردد على عرض النطاق الترددي) يتم الحصول عليه عن طريق معالجة القناة كما الكثيرمن القنوات الغاوسية الضيقة والمستقلة بالتوازي:

$C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df$

أين

• $C$ هي سعة القناة بالبتات في الثانية ؛
• $B$ عرض النطاق الترددي للقناة بالهرتز ؛
• $S(f)$ هو طيف طاقة الإشارة
• $N(f)$ هو طيف طاقة الضوضاء
• $f$ هو التردد بالهرتز.

ملاحظة: هذه النظرية تنطبق فقط على ضوضاء العملية الغاوسية الثابتة. لا يمكن لهذه الصيغة وطريقتها إدخال الضوضاء المعتمدة على التردد بحيث تكشف جميع عمليات الضوضاء المستمرة. لو قلنا ضع في مخيلتك عملية ضوضاء تصنع من إضافة موجة عشوائية يتعدى اتساعها 1 أو − 1 في أي وقت كان، وقناة كهذه القناة تضيف مثل هذه الموجة إلى إشارة المصدر. تعتمد على مكونات تردديه مثل هذه الموجة بشكل مهول. بغض النظر من أن مثل هذه الحالات من الضوضاء قد تكون لها طاقة عالية، فمن السهل جداً إرسال إشارات مستمرة بقوة أقل بكثير مما يحتاجه المرء إذا كانت الضوضاء الأساسية تحتوي على مجموع ضوضاء مستقلة في كل نطاق تردد.

التقريبات

يشار إلى قدرة قناة AWGN مع نظام محدود القدرة ونظام محدود النطاق الترددي. هنا، ${\frac {S}{N_{0}}}=1$ ؛ يمكن قياس B و C بالتناسب مع القيم الأخرى.

بوضع عين الإعتبار لنسبة الإشارة إلى الضوضاء الكبيرة كانت أو الصغيرة والثابتة، بالإمكان تقديم صيغة السعة:

حالة محدودة النطاق الترددي

عندما يكون SNR كبيراً بشكل مهول ( S/N ≫ 1 ) ، يتم بطبيعة الحال تقديم اللوغاريتم عن طريق

$\log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}}$ و

عندما تكون الحالة في هذه السعة لوغاريتمية في القدرة خطية في عرض النطاق الترددي (ليست خطية تقريباً، بسبب أن N تزداد مع عرض النطاق، مما ينتج عن إضافة تأثير لوغاريتمي). وهذا ما يطلق عليه بنظام النطاق الترددي المحدود .

$C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)}$

أين

$\mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.$

حالة محدودة الطاقة

يطبق التقديم أو التقريب على اللوغاريتم:

$\log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N}$ ؛

ثم السعة خطية في السلطة. وهذا ما يطلق عليه بالنظام المحدود للسلطة .

$C\approx 1.44\cdot B\cdot {S \over N}.$

في هذا التقريب منخفض SNR ، تصبح السعة معزولة عن عرض النطاق الترددي إذا حصل أن ظهرت أن أصبحت الضوضاء بيضاء، من الكثافة الطيفية $N_{0}$ وات لكل هرتز، وطبعاً عند حصول هذه الحالة تقاس قوة الضوضاء الإجمالية $N=B\cdot N_{0}$ .

$C\approx 1.44\cdot {S \over N_{0}}$

أمثلة

1. بمعدل SNR 0 dB (قوة الإشارة = قوة الضوضاء) السعة بالبتات / ثانية تساوي عرض النطاق الترددي بالهرتز.
2. إذا كان SNR هو 20 ديسيبل، وعرض النطاق الترددي المتاح هو 4 kHz ، وهو مناسب للاتصالات الهاتفية، ثم C = 4000 log ₂ (1 + 100) = 4000 log ₂ (101) = 26.63 kbit / s. لاحظ أن قيمة S / N = 100 تعادل SNR 20 ديسيبل.
3. إذا كان المطلوب هو الإرسال بسرعة 50 kbit / s ، وعرض نطاق 10 يتم استخدام kHz ، ثم يتم إعطاء الحد الأدنى من S / N المطلوب بواسطة 50000 = 10000 log ₂ (1 + S / N) لذلك C / B = 5 ثم S / N = 2 ⁵ - 1 = 31 ، المقابلة لـ SNR 14.91 ديسيبل (10 × سجل ₁₀ (31)).
4. ما هي سعة القناة للإشارة ذات الرقم 1 عرض النطاق الترددي MHz ، المتلقى مع SNR R30 ديسيبل ؟ هذا يعني إشارة مدفونة بعمق في الضوضاء. −30 يعني dB أن S / N = 10 ⁻³ . يؤدي إلى أقصى معدل للمعلومات يبلغ 10 ⁶ سجل ₂ (1 + 10 ⁻³ ) = 1443 بت / ثانية. هذه القيم نموذجية لإشارات النطاق المستقبلة لنظام تحديد المواقع العالمي (GPS) ، حيث يتم إرسال رسالة الملاحة بمعدل 50 بت / ثانية (أقل من سعة القناة لـ S / N المعطاة) ، والتي ينتشر عرض النطاق الترددي الخاص بها إلى حوالي 1 MHz من خلال مضاعفة الضوضاء الزائفة قبل الإرسال.
5. كما ذكر أعلاه، تتناسب سعة القناة مع عرض نطاق القناة ولوغاريتم نسبة الإشارة إلى الضوضاء (SNR). وهذا يعني أنه يمكن زيادة سعة القناة خطيًا إما عن طريق زيادة عرض النطاق الترددي للقناة نظرًا لمتطلبات نسبة الإشارة إلى الضوضاء (SNR) الثابتة أو، مع عرض النطاق الترددي الثابت، باستخدام تعديلات ذات ترتيب أعلى والتي تحتاج إلى نسبة SNR عالية جدًا للعمل. مع زيادة معدل التشكيل، تتحسن الكفاءة الطيفية ، ولكن على حساب متطلبات نسبة الإشارة إلى الضوضاء (SNR). وبالتالي، هناك ارتفاع أسي في متطلبات SNR إذا اعتمد المرء 16QAM أو 64QAM (انظر: تعديل سعة التربيع )؛ ومع ذلك، تتحسن الكفاءة الطيفية.

انظر أيضًا

• نظرية أخذ العينات نيكويست شانون

 

المصادر

• Herbert Taub, Donald L. Schilling (1986). Principles of Communication Systems. McGraw-Hill.
• John M. Wozencraft and Irwin Mark Jacobs (1965). Principles of Communications Engineering. New York: John Wiley & Sons.

روابط خارجية

• الكتاب المدرسي عبر الإنترنت: نظرية المعلومات، والاستدلال، وخوارزميات التعلم ، بقلم ديفيد ماكاي - يعطي مقدمة مسلية وشاملة لنظرية شانون، بما في ذلك دليلين على نظرية تشفير القناة الصاخبة. يناقش هذا النص أيضًا أحدث الأساليب من نظرية الترميز، مثل أكواد التحقق من التكافؤ منخفضة الكثافة، ورموز Turbo .
• مقال أخبار معهد ماساتشوستس للتكنولوجيا على حد شانون