From Wikipedia, the free encyclopedia
ਇਨਫ੍ਰਮੇਸ਼ਨ ਥਿਊਰੀ ਅੰਦਰ, ਸਿਸਟਮ ਇੱਕ ਟ੍ਰਾਂਸਮਿੱਟਰ, ਚੈਨਲ, ਅਤੇ ਰਿਸੀਵਰ ਰਾਹੀਂ ਮਾਡਲਬੱਧ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਟ੍ਰਾਂਸਮਿੱਟਰ ਅਜਿਹੇ ਸੰਦੇਸ਼ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਚੈਨਲ ਰਾਹੀਂ ਗੁਜ਼ਾਰ ਕੇ ਭੇਜੇ ਜਾਂਦੇ ਹਨ। ਚੈਨਲ ਸੰਦੇਸ਼ ਨੂੰ ਕਿਸੇ ਤਰੀਕੇ ਸੋਧ ਦਿੰਦਾ ਹੈ। ਰਿਸੀਵਰ ਅਨੁਮਾਨ ਲਗਾਉਣ ਦਾ ਯਤਨ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਸੰਦੇਸ਼ ਭੇਜਿਆ ਗਿਆ ਸੀ। ਇਸ ਸੰਦ੍ਰਣ ਵਿੱਚ, ਐਨਟ੍ਰੌਪੀ (ਹੋਰ ਵਿਸ਼ੇਸ਼ਤੌਰ ਤੇ, ਸੈਨੋਨ ਐਨਟ੍ਰੌਪੀ) ਹਰੇਕ ਸੰਦੇਸ਼ (ਮੈਸਜ) ਵਿੱਚ ਰੱਖੀ ਜਾਣਕਾਰੀ (ਇਨਫ੍ਰਮੇਸ਼ਨ) ਦਾ ਉਮੀਦ ਮੁੱਲ (ਔਸਤ) ਹੁੰਦੀ ਹੈ। ਜਾਣਕਾਰੀ ਦੇ ਕਿਸੇ ਵੀ ਪ੍ਰਵਾਹ ਰਾਹੀਂ ਸੰਦੇਸ਼ਾਂ ਦੇ ਮਾਡਲ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ।
ਇਸ ਲੇਖ ਨੂੰ ਤਸਦੀਕ ਲਈ ਹੋਰ ਹਵਾਲੇ ਚਾਹੀਦੇ ਹਨ। (April 2012) |
ਇੱਕ ਹੋਰ ਜਿਆਦਾ ਤਕਨੀਕੀ ਸਮਝ ਵਿੱਚ, ਸੂਚਨਾ ਨੂੰ ਸੰਭਵ ਘਟਨਾਵਾਂ ਜਾਂ ਸੰਦੇਸ਼ਾਂ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦੇ ਲੌਗਰਿਥਮ ਦੇ ਨੈਗਟਿਵ ਦੇ ਤੌਰ ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦੇ ਕਾਰਨ ਹਨ (ਜੋ ਥੱਲੇ ਲਿਖੇ ਗਏ ਹਨ)। ਹਰੇਕ ਘਟਨਾ ਦੀ ਸੂਚਨਾ ਦੀ ਮਾਤਰਾ ਇੱਕ ਮਨਚਾਹਿਆ ਵੇਰੀਏਬਲ ਰਚਦੀ ਹੈ ਜਿਸਦਾ ਉਮੀਦ ਮੁੱਲ, ਜਾਂ ਔਸਤ, ਸੈਨੌਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਐਨਟ੍ਰੌਪੀ ਦੀਆਂ ਯੂਨਿਟਾਂ ਸ਼ੇਨੌਨ, ਨਾਟ, ਜਾਂ ਹ੍ਰਟਲੇ ਹਨ, ਜੋ ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਲੌਗਰਿਥਮ ਦੇ ਬੇਸ ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ, ਭਾਵੇਂ ਸ਼ੇਨੌਨ ਨੂੰ ਸਾਂਝੇ ਤੌਰ ਤੇ ਇੱਕ ਬਿਟ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।
ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦਾ ਲੌਗਰਿਥਮ ਐਨਟ੍ਰੌਪੀ ਦੇ ਇੱਕ ਨਾਪ ਦੇ ਤੌਰ ਤੇ ਫਾਇਦੇਮੰਦ ਰਹਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸੁਤੰਤਰ ਸੋਮਿਆਂ ਵਾਸਤੇ ਜੋੜਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਦੇ ਤੌਰ ਤੇ, ਕਿਸੇ ਸਿੱਕੇ ਦੇ ਉਛਾਲਨ ਤੇ ਐਨਟ੍ਰੌਪੀ 1 ਸੈਨੋਨ ਹੁੰਦੀ ਹੈ, ਜਿੱਥੇ ਕਿ m ਗਣਿਤ ਦੇ ਉਛਾਲਾਂ ਲਈ ਇਹ m ਸ਼ੈਨੋਨ ਹੁੰਦੀ ਹੈ। ਸਰਵ ਸਧਾਰਨ ਤੌਰ ਤੇ, ਕਿਸੇ ਵੇਰੀਏਬਲ ਨੂੰ ਪ੍ਰਸਤੁਤ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ log2(n) ਬਿਟਾਂ ਦੀ ਜਰੂਰਤ ਪੈਂਦੀ ਹੈ ਜੋ n ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਲੈ ਸਕਦੇ ਹਨ ਜੇਕਰ n, 2 ਦੀ ਇੱਕ ਘਾਤ (ਪਾਵਰ) ਹੋਵੇ। ਜੇਕਰ ਇਹ ਮੁੱਲ ਇੱਕ-ਬਰਾਬਰ ਹੀ ਸੰਭਵ (ਪਰੋਬੇਬਲ) ਹੋਣ, ਤਾਂ ਐਨਟ੍ਰੌਪੀ (ਸ਼ੈਨੋਨਾਂ ਵਿੱਚ) ਬਿੱਟਾਂ ਦੀ ਸੰਖਿਆ ਬਰਾਬਰ ਹੁੰਦੀ ਹੈ। ਬਿੱਟਾਂ ਦੀ ਗਿਣਤੀ ਅਤੇ ਸ਼ੈਨੋਨਾਂ ਦਰਮਿਆਨ ਸਮਾਨਤਾ ਸਿਰਫ ਉਦੋਂ ਲਾਗੂ ਰਹਿੰਦੀ ਹੈ ਜਦੋਂ ਸਾਰੇ ਨਿਕਲਣ ਵਾਲੇ ਨਤੀਜੇ ਇੱਕ ਸਮਾਨ ਹੀ ਪਰੋਬੇਬਲ (ਖੋਜਣਯੋਗ) ਹੋਣ। ਜੇਕਰ ਕੋਈ ਇੱਕ ਘਟਨਾ ਬਾਕੀ ਘਟਨਾਵਾਂ ਨਾਲ਼ੋਂ ਜਿਆਦਾ ਪ੍ਰੋਬੇਬਲ ਹੋਵੇ, ਤਾਂ ਉਸ ਘਟਨਾ ਦਾ ਨਿਰੀਖਣ ਘੱਟ ਸੂਚਨਾਤਮਿਕ ਹੁੰਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ ਵਿਰਲੀਆਂ ਘਟਨਾਵਾਂ ਨਿਰੀਖਣ ਹੋਣ ਤੇ ਜਿਆਦਾ ਸੂਚਨਾ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀਆਂ ਹਨ। ਕਿਉਂਕਿ ਘੱਟ ਪਰੋਬੇਬਲ ਘਟਨਾਵਾਂ ਦਾ ਨਿਰੀਖਣ ਹੋਰ ਜਿਆਦਾ ਵਿਰਲਾ ਵਾਪਰਦਾ ਹੈ, ਇਸ ਕਾਰਨ ਸ਼ੁੱਧ ਅਸਰ ਇਹ ਪੈਂਦਾ ਹੈ ਕਿ ਗੈਰ-ਇੱਕਸਾਰ ਵੰਡੇ ਆੰਕੜੇ ਤੋਂ ਪ੍ਰਾਪਤ ਐਨਟ੍ਰੌਪੀ (ਜੋ ਔਸਤ ਸੂਚਨਾ ਦੇ ਤੌਰ ਤੇ ਮੰਨੀ ਜਾਂਦੀ ਹੈ), log2(n) ਤੋਂ ਘੱਟ ਹੁੰਦੀ ਹੈ। ਜਦੋਂ ਨਤੀਜਾ ਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ ਤਾਂ ਐਨਟ੍ਰੌਪੀ ਜ਼ੀਰੋ ਰਹਿੰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਇਹਨਾਂ ਸਾਰੀਆਂ ਵਿਚਾਰਾਂ ਨੂੰ ਇਨਬਿੰਨ ਕੁਆਂਟੀਫਾਈ ਕਰਦੀ ਹੈ ਜਦੋਂ ਸੋਨਮੇ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਗਿਆਤ (ਪਤਾ) ਹੁੰਦੀ ਹੈ। ਨਿਰੀਖਤ ਘਟਨਾਵਾਂ (ਸੰਦੇਸ਼ਾਂ) ਦਾ ਅਰਥ ਐਨਟ੍ਰੌਪੀ ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ ਕੋਈ ਵਾਸਤਾ ਨਹੀਂ ਰੱਖਦਾ। ਐਨਟ੍ਰੌਪੀ ਸਿਰਫ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਘਟਨਾ ਨੂੰ ਨਿਰੀਖਣ ਕਰਨ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨੂੰ ਹੀ ਲੈਂਦੀ ਹੈ, ਇਸਲਈ ਇਸਦੇ ਦੁਆਰਾ ਸਾਂਭੀ ਗਈ ਸੂਚਨਾ ਪਿੱਛੇ ਛੁਪੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਬਾਬਤ ਸੂਚਨਾ ਹੁੰਦੀ ਹੈ, ਨਾ ਕਿ ਖੁਦ ਘਟਨਾਵਾਂ ਦਾ ਅਰਥ ਹੀ ਹੁੰਦੀ ਹੈ।
ਆਮਤੌਰ ਤੇ, ਐਨਟ੍ਰੌਪੀ ਅਵਿਵਸਥਾ ਜਾਂ ਅਨਿਸ਼ਚਿਤਿਤਾ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਲਾਓਡੇ ਈ. ਸ਼ੈਨੋਨ ਵੱਲੋਂ 1948 ਵਿੱਚ ਆਪਣੇ ਪੇਪਰ "ਏ ਮੈਥੇਮੈਟੀਕਲ ਥਿਊਰੀ ਔਫ ਕਮਿਊਨੀਕੇਸ਼ਨ"[1] ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਸੀ। ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਕਿਸੇ ਸੂਚਨਾ ਸੋਮੇ ਦੀ ਹਾਨੀਹੀਣ ਐਨਕੋਡਿੰਗ (ਸੰਕਵੇ-ਬੱਧਤਾ) ਦੀ ਸਭ ਤੋਂ ਜਿਆਦਾ ਚੰਗੀ ਤਰਾਂ ਸੰਭਵ ਔਸਤ ਲੰਬਾਈ ਜਾਂ ਕੰਪ੍ਰੈਸ਼ਨ ਉੱਤੇ ਇੱਕ ਸ਼ੁੱਧ ਹੱਦ ਮੁਹੱਈਆ ਕਰਵਾਉਂਦੀ ਹੈ। ਰੇਨਯੀ ਐਨਟ੍ਰੌਪੀ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਸਦਾ ਸਰਵ ਸਧਾਰਨ ਕਰਨ ਕਰਦੀ ਹੈ। ਵ
ਐਨਟ੍ਰੌਪੀ, ਅਵਸਥਾ ਦੀ ਅਨਿਸ਼ਚਿਤਿਤਾ ਦਾ ਇੱਕ ਨਾਪ ਹੁੰਦਾ ਹੈ, ਜਾਂ ਇਸਦੇ ਸਮਾਨ ਕਹੀਏ ਤਾਂ, ਅਵਸਥਾ ਦੀ ਔਸਤਨ ਸੂਚਨਾ ਸਮੱਗਰੀ ਹੁੰਦੀ ਹੈ। ਇਹਨਾਂ ਸ਼ਬਦਾਂ ਦੀ ਇੱਕ ਗਹਿਰੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਕਿਸੇ ਰਾਜਨੀਤਕ ਵੋਟ ਦੀ ਉਦਾਹਰਨ ਲਓ। ਆਮਤੌਰ ਤੇ, ਅਜਿਹੀਆਂ ਵੋਟਾਂ ਵੋਟਾਂ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਪਹਿਲਾਂ ਨਾ ਪਤਾ ਹੋਣ ਕਾਰਨ ਹੁੰਦੀਆਂ ਹਨ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਸਾਪੇਖਿ ਤੌਰ ਤੇ ਅਨਿਸ਼ਚਿਤ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਸੱਚਮੁੱਚ ਵੋਟਾਂ ਦਾ ਕਾਰਜ ਕਰਨਾ ਅਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਪੜਨਾ ਕੁੱਝ ਨਵੀਂ ਇਨਫਰਮੇਸ਼ਨ ਦਿੰਦਾ ਹੈ; ਇਹ ਸਿਰਫ ਇਹ ਕਹਿਣ ਦੇ ਵੱਖਰੇ ਤਰੀਕੇ ਹਨ ਕਿ ਵੋਟ ਨਤੀਜਿਆਂ ਦੀ ਇੱਕ ਪੂਰਵ ਐਨਟ੍ਰੌਪੀ ਜਿਆਦਾ ਹੁੰਦੀ ਹੈ। ਹੁਣ, ਓਸ ਮਾਮਲੇ ਤੇ ਵਿਚਾਰ ਕਰੋ ਕਿ ਪਹਿਲੀ ਚੋਣ ਤੋਂ ਕੁੱਝ ਦੇਰ ਬਾਦ ਫੇਰ ਤੋਂ ਓਹੀ ਵੋਟਾਂ ਪੁਆਈਆਂ ਜਾਂਦੀਆੰ ਹਨ। ਕਿਉਂਕਿ ਵੋਟਾਂ ਦਾ ਨਤੀਜਾ ਪਹਿਲਾਂ ਹੀ ਪਤਾ ਹੁੰਦਾ ਹੈ, ਇਸਲਈ ਦੂਜੀ ਵਾਰ ਦੀਆਂ ਚੋਣਾਂ ਦਾ ਨਤੀਜਾ ਚੰਗੀ ਤਰਾਂ ਅਨੁਮਾਨਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਨਤੀਜਾ ਜਿਆਦਾ ਨਵੀਨ ਜਾਣਕਾਰੀ ਨਹੀਂ ਰੱਖਦੇ ਹੋਣਗੇ; ਇਸ ਮਾਮਲੇ ਵਿੱਚ, ਦੂਜੀ ਚੋਣ ਨਤੀਜੇ ਦੀ ਪੂਰਵ-ਐਨਟ੍ਰੌਪੀ ਪਹਿਲੀ ਤੋਂ ਸਾਪੇਖਿਕ ਤੌਰ ਤੇ ਘੱਟ ਹੋਵੇਗੀ।
ਹੁਣ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਉਦਾਹਰਨ ਲਓ। ਮੰਨ ਲਓ ਹੈੱਡ ਤੇ ਟੇਲ ਆਉਣ ਦੀ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਇੱਕ ਬਰਾਬਰ ਹੀ ਹੋਵੇ, ਤਾਂ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦੀ ਐਨਟ੍ਰੌਪੀ ਵੱਧ ਤੋਂ ਵੱਧ ਜਿਆਦਾ ਹੋ ਸਕਦੀ ਹੈ। ਅਜਿਹਾ ਇਸ ਕਾਰਨ ਹੁੰਦਾ ਹਰੈ ਕਿਉਂਕਿ ਵਕਤ ਤੋਂ ਅੱਗੇ ਸਿੱਕੇ ਦੇ ਟੌਸ ਦਾ ਨਤੀਜਾ ਅਨੁਮਾਨਿਤ ਕਰਨ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਹੁੰਦਾ: ਅਸੀਂ ਵੱਧ ਤੋਂ ਵੱਧ ਇਹ ਕਰ ਸਕਦੇ ਹਾਂ ਕਿ ਇਹ ਅਨੁਮਾਨ ਲਗਾ ਸਕਦੇ ਹਾਂ ਕਿ ਸਿੱਕਾ ਟੌਸ ਕਰਨ ਤੇ ਹੈੱਡ ਆਏਗਾ, ਅਤੇ ਸਾਡਾ ਅਨੁਮਾਨ ½ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਸਹੀ ਰਹਿੰਦਾ ਹੈ। ਅਜਿਹਾ ਕੋਈ ਸਿੱਕੇ ਦਾ ਟੌਸ ਐਨਟ੍ਰੌਪੀ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ ਕਿਉਂਕਿ ਦੋ ਸੰਭਵ ਨਤੀਜੇ ਹੁੰਦੇ ਹਨ ਜੋ ਬਰਾਬਰ ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਨਾਲ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਵਾਸਤਵਿਕ ਨਤੀਜੇ ਨੂੰ ਜਾਣਨਾ ਸੂਚਨਾ ਦਾ ਇੱਕ ਸ਼ੈਨੌਨ ਰੱਖਦਾ ਹੈ। ਇਸ ਦੇ ਵਿਰੁੱਧ ਤਰੀਕੇ ਵਿੱਚ, ਬਗੈਰ ਕਿਸੇ ਟੇਲ ਤੋਂ ਸਿਰਫ ਦੋਵੇਂ ਹੀ ਹੈੱਡਾਂ ਵਾਲੇ ਸਿੱਕੇ ਵਾਸਤੇ ਐਨਟ੍ਰੌਪੀ 0 ਹੁੰਦੀ ਹੈ ਕਿਉਂਕਿ ਹਮੇਸ਼ਾ ਹੀ ਸਿੱਕੇ ਦਾ ਪਾਸਾ ਹੈੱਡ ਹੀ ਦਿਖਾਏਗਾ, ਅਤੇ ਨਤੀਜਾ ਪੂਰੀ ਤਰਾਂ ਭਵਿੱਖ ਬਾਣੀ ਹੋ ਸਕਦਾ ਹੈ। ਇਸਦੇ ਤੁੱਲ, ਇੱਕ ਸਮਾਨ ਮੁੱਲਾਂ ਵਾਲੇ ਇੱਕ ਬਾਇਨਰੀ ਬਿੱਟ ਦੀ ਸ਼ੈਨੋਨ ਸ਼ੈਨੋਨ ਐਨਟ੍ਰੌਪੀ ਹੁੰਦੀ ਹੈ। ਇਸੇਤਰਾਂ, ਸਮਾਨ-ਪ੍ਰੋਬੇਬਿਲਿਟੀ ਵਾਲੇ ਇੱਕ ਟ੍ਰਿਟ ਵਿੱਚ ਸੂਚਨਾ ਦੇ (ਲੱਗਪਗ 1.58496) ਸ਼ੈਨਨ ਹੁੰਦੇ ਹਨ ਕਿਉਂਕਿ ਇਹ ਤਿੰਨ ਮੁੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੁੱਲ ਰੱਖ ਸਕਦਾ ਹੈ।
ਬੋਲਟਜ਼ਮਨ ਦੀ Η-ਥਿਊਰਮ, ਤੋਂ ਬਾਦ ਸ਼ੈਨਨ ਨੇ ਐਨਟ੍ਰੌਪੀ Η (ਅਨਿਰੰਤਰ ਮਨਚਾਹੇ ਅਸਥਿਰਾਂਕਾਂ X ਦਾ ਗਰੀਕ ਕੈਪੀਟਲ ਅੱਖਰ ਈਟਾ) ਜੋ ਸੰਭਵ ਮੁੱਲਾਂ {x1, ..., xn} ਵਾਲਾ ਹੁੰਦਾ ਹੈ ਅਤੇ ਪ੍ਰੋਬੇਬਿਲਟੀ ਮਾਸ ਫੰਕਸ਼ਨ P(X) ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਦਰਸਾਇਆ:
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.