![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/2/21/Markov_Decision_Process_example.png/640px-Markov_Decision_Process_example.png&w=640&q=50)
תהליך החלטה מרקובי
ויקיפדיה האנציקלופדיה encyclopedia
תהליך החלטה מרקובי (באנגלית: Markov Decision Process או MDP) הוא מודל מתמטי לתהליכי החלטה שבה פונקציית המעברים של המערכת מקיימת את תכונת מרקוב, קרי ההסתברות להגיע למצב כלשהו תלויה אך ורק במצב ופעולה נבחרת קודמת. המודל קרוי על שמו של אנדריי מרקוב והוא הרחבה של המודל של שרשרת מרקוב שנעשתה עם פיתוחו של ענף התכנון הדינאמי על ידי ריצ'רד בלמן בשנות ה-50 של המאה העשרים.
![Thumb image](http://upload.wikimedia.org/wikipedia/commons/thumb/2/21/Markov_Decision_Process_example.png/640px-Markov_Decision_Process_example.png)
בצורתו הבסיסית מוגדר תהליך החלטה מרקובי באמצעות הפרמטרים כך ש:
- S הוא מרחב המצבים של המערכת.
- A הוא מרחב הפעולות.
- P היא פונקציית הסתברות למעבר בין מצבים מתוך S בהינתן ביצוע פעולה מתוך A המוגדרת
- R היא פונקציית התגמול המתאימה ערך מספרי לכל מצב (או לחלופין לכל צירוף של מצב ופעולה).
הוא מקדם בתחום
שתפקידו לקבוע עד כמה מדיניות הפעולה לגיבוש תהיה מושפעת מתגמולים שהתקבלו באינטראקציות מאוחרות בזמן.
במסגרת מודל זה, יש למצוא מדיניות פעולה כך שהתגמול הכולל לאורך זמן הניסוי
עבור
יהיה גבוה ככל שניתן. כדי לגבש מדיניות בחירת פעולות מתאימה תחת מודל זה, נעזרים באלגוריתמים מתחומי למידת חיזוק ובקרה אופטימלית. כמו כן קיימות גרסאות של המודל עבור מרחבי מצבים שניתנים לצפייה חלקית (Partially Observable MDP או POMDP) ועבור תהליכי החלטה לזמן רציף כשהקריטריון למיקסום הוא אינטגרל.
התהליך משמש במדעי המחשב בתחום של למידת חיזוק לשם יצירת תוכניות הלומדות לבד לפתור מערכת ולהגיע לאופטימיזציה בתהליכים בה.