אנליזה של אלגוריתמים

אנליזה (ניתוח) של אלגוריתמים הוא תחום במדעי המחשב, העוסק בגילוי מאפיינים שונים באלגוריתמים, וסיווג רמת החיסכון שלהם במשאבים, כלומר קביעת כמות המשאבים הנדרשים עבור ביצועו.

יש לערוך ערך זה. הסיבה היא: הערך דורש הגהה, ויקיזציה וסידור חלק מהנוסחאות המתמטיות מופיעות בו.

בדרך-כלל, יעילותו של אלגוריתם תלויה במספר הצעדים (זמן המורכבות) ובשטח האחסון (מורכבות אחסון) הנדרשים.

המונח "ניתוח אלגוריתמים" נטבע על ידי דונלד קונת'.^[1] ניתוח אלגוריתמים הוא חלק חשוב של תאוריה רחבה יותר הנקראת תורת הסיבוכיות, אשר מספקת הערכות תאורטיות לכמות המשאבים הדרושים לכל אלגוריתם הפותר בעיה חישובית נתונה. הערכות אלו מספקות תובנות חשובות באשר לחיפוש אחר אלגוריתמים יעילים יותר ויותר.

בניתוח תאורטי של אלגוריתמים, נהוג להעריך את המורכבות שלהם במובן אסימפטוטי. כלומר, להעריך את מורכבות האלגוריתם עבור קלט שרירותי גדול. סימון O גדולה [${\displaystyle O}$], סימון אומגה גדול [${\displaystyle \Omega }$] וסימון טטא גדול [${\displaystyle \Theta }$] משמשים למטרה זו. למשל, חיפוש בינארי הוא חיפוש האמור לרוץ מספר צעדים, יחסי ללוגריתם של אורך הרשימה הממוינת שבה מתבצע החיפוש, או ב- ${\displaystyle O(log(n))}$, ב"זמן לוגריתמי".

ממד יעילות מדיוק (לא אסימפטוטי) ניתן לחישוב במקרים מסוימים אך בדרך כלל הוא דורש הנחות מסוימות לגבי יישום מסוים של האלגוריתם, הנקרא מודל של מחשוב. מודל של מחשוב עשוי להיות מוגדר במונחים של מחשב אבסטרקטי, למשל, מכונת טיורינג, או על ידי הנחה כי פעולות מסוימות מבוצעות ביחידת זמן.

לדוגמה, אם ברשימה הממוינת עליה אנו מריצים חיפוש בינארי יש n אלמנטים, ואנחנו יכולים להבטיח כי כל בדיקה של אלמנט ברשימה יכולה להתבצע תוך יחידת זמן, אז צריך לכל היותר log₂ n + 1 יחידות זמן להחזיר תשובה.

דגמי עלויות

הערכות יעילות זמן תלויות במה אנו מגדירים להיות צעד. כדי שניתוח האלגוריתם יתאים בצורה שימושית לזמן הביצוע בפועל, הזמן הנדרש כדי לבצע צעד חייב להיות חסום מלעיל על ידי קבוע. יש להיות זהיר בנקודה זו, למשל, כמה אנליזות זמנים סופרות חיבור של שני מספרים בתור צעד אחד. הנחה לא יכולה להיות מובטחת בתנאים מסוימים או בהקשרים מסוימים. לדוגמה, אם המספרים המעורבים בחישוב גדולים מאוד, במקרה זה לא ניתן להניח כי הזמן הנדרש על ידי פעולת חיבור יחידה הוא קבוע כלשהו.

יש שני מודלי חישוב עליות המשומשים בצורה נרחבת:^{[2][3][4][5][6]}

• מודל מחיר אחיד, נקרא גם מדד עלות-אחיד (ווריאציות דומות), מקצה קבוע עלות לכל פעולת מכונה, ללא קשר לגודל של המספרים מעורבים.
• מודל עלות לוגריתמי, נקרא גם מדד עלות-לוגריתמי (ווריאציות דומות), מקצה עלות כל פעולת מכונה באופן יחסי למספר הביטים המעורבים.

האחרון הוא יותר מסורבל לשימוש, לכן נעשה בו שימוש רק בעת הצורך, למשל בניתוח של אלגוריתמים מסוג דיוק-שרירותי אריתמטי, כמו אלה המשמשים בקריפטוגרפיה.

נקודת מפתח אשר נוטים להתעלם ממנה לעיתים קרובות היא שחסמים תחתונים שפורסמו לבעיות לעיתים קרובות חושבו על מודל מחשוב אשר מוגבל יותר מאשר סט הפעולות שניתן להשתמש בו בפועל, ולכן יש אלגוריתמים מהירים יותר מאלה שניתן לדמיין בצורה נאיבית.^[7]

ניתוח זמן ריצה

השוואת סיבוכיות

ניתוח זמן ריצה הוא סיווג תאורטי שמעריך וצופה את הגידול בזמן הריצה של אלגוריתם ככל שגודל הקלט שלו (לרוב מסומן כ-n) גדל. יעילות זמן ריצה היא נושא בעל חשיבות גבוהה במדעי המחשב: תוכנה יכולה לקחת שניות שעות או אפילו שנים כדי לסיים ביצוע, דבר שתלוי על איזה אלגוריתם היא מיישמת (ראו גם ניתוח ביצועים, כלומר הניתוח של זמן ריצה בצורה פרקטית).

החסרונות של אמות מידה אמפיריות

כיוון שאלגוריתמים הם תלויי פלטפורמה (כלומר, אלגוריתם נתון יכול להיות מיושם בשפת תכנות שרירותית במחשב שרירותי ועל מערכת ההפעלה שרירותית), יש חסרונות משמעותיים לשימוש בגישה אמפירית למדידת הביצועים היחסיים של סט נתון של אלגוריתמים.

ניתן לקחת כדוגמה תוכנה המחפשת ערך מסוים רשימה ממוינת בגודל n. נניח שתכנה זו הושמה על מחשב א', מחשב חדיש עם חומרה מרמה גבוהה, תוך שימוש באלגוריתם חיפוש ליניארי, ועל מחשב ב', אשר איטי בהרבה מן המחשב הקודם, באמצעות אלגוריתם חיפוש בינארי. בוחן ביצועים על שני המחשבים המריצים את התוכנה בהתאמה עשוי לקבל את הממצאים הבאים:

n (גודל רשימה)	זמן ריצה של מחשב א' (ננו שניות)	זמן ריצה של מחשב ב' (ננו שניות)
16	8	100,000
63	32	150,000
250	125	200,000
1,000	500	250,000

בהתבסס על ערכים אלה, זה ניתן לקפוץ למסקנה כי על מחשב א' פועל אלגוריתם יעיל בהרבה מיעילות של האלגוריתם של מחשב ב'. עם זאת, אם נגדיל את גודל הקלט בצורה מספקת, מסקנה זו הוא מוכחת להיות שגיאה:

n (גודל רשימה)	זמן ריצה של מחשב א' (ננו שניות)	זמן ריצה של מחשב ב' (ננו שניות)
16	8	100,000
63	32	150,000
250	125	200,000
1,000	500	250,000
...	...	...
1,000,000	500,000	500,000
4,000,000	2,000,000	550,000
16,000,000	8,000,000	600,000
...	...	...
63,072 × 1012	31,536 × 1012 ns, או 1 שנה	1,375,000 ns, או 1.375 מילישניות.

מחשב א', מריץ את תוכנת החיפוש הליניארי, ומראה קצב גידול ליניארי. זמן הריצה של התוכנה הוא בעל יחס ישיר לגודל הקלט שלה. הכפלת גודל הקלט מכפיל את זמן הריצה, הכפלה פי ארבעה של גודל הקלט מכפילה פי ארבעה את זמן הריצה וכו' . מצד שני, מחשב ב', מריץ תוכנת חיפוש בינארי, ומראה קצב גידול לוגריתמי. הכפלת גודל הקלט פי ארבעה מגדיל את זמן הריצה על ידי קבוע בלבד (בדוגמה זו, 50,000 ns). אף על פי שמחשב א' מהיר יותר, מאשר מחשב ב'. מחשב ב' יתגבר על מחשב א' באופן בלתי נמנע ביעילות זמן ריצה מפני שהאלגוריתם שהוא מריץ בעל קצב גידול נמוך בהרבה.

רמות של קצב גידול

באופן לא רשמי, ניתן לומר כי אלגוריתם מציג צמיחה בשיעור מסדר גודל של פונקציות מתמטיות אם עבור קלט מסוים בגודל n, פונקציה ${\displaystyle f(n)}$ כפול קבוע חיובי מספקת את החסם העליון או הגבול של זמן הריצה של האלגוריתם. במילים אחרות, עבור גודל קלט n אשר גדול יותר מ-n₀ וקבוע c, זמן הריצה של אלגוריתם לעולם לא יהיה גדול מאשר ${\displaystyle c\times f(n)}$. ביטוי זה מיוצג לעיתים קרובות על ידי סימון O גדולה. לדוגמה, כיוון שזמן הריצה של מיון הכנסה גדל בצורה מרובעת כמו שלה הקלט גדל, ההכנסה סוג יכול להיות אמר להיות של סדר O(n²).

סימון O גדולה הוא דרך נוחה כדי לבטא את התרחיש הגרוע ביותר עבור אלגוריתם נתון, אף על פי שזה יכול לשמש גם כדי להביע את המקרה הממוצע — לדוגמה, התרחיש הגרוע ביותר עבור quicksort הוא O(n²), אבל זמן הריצה עבור המקרה הממוצע הוא O(n log n).

רמות אמפיריות של קצב גידול

תחת ההנחה שזמן הביצוע עוקב אחר כלל הכוח,${\displaystyle t\approx k*n^{a}}$, ניתן למצוא את המקדם^[8] על ידי לקיחת מדידות אמפיריות של זמן ריצה ${\displaystyle \{t_{1},t_{2}\}}$ על נקודות בעלות גודל בעייתי ${\displaystyle \{n_{1},n_{2}\}}$ וחישוב ${\displaystyle t_{2}/t_{1}=(n_{2}/n_{1})^{a}}$ כך ${\displaystyle a=\log(t_{2}/t_{1})/\log(n_{2}/n_{1})}$. במילים אחרות, זה מודד את השיפוע של קו אמפירי על log-log plot של זמן הביצוע לעומת גודל הבעיה, בנקודת גודל כלשהי. אם רמת הצמיחה אכן מלווה את כלל הכוח (אזי הקו על log-log-plot אכן קו ישר), הערך האמפירי של a יישאר קבוע בטווחים שונים, ואם לא, הוא ישתנה (ואז הקו הוא קו מעוגל) - אבל זה עדיין יכול לשמש להשוואה של כל שני אלגוריתמים נתונים בהתחשבות בהתנהגות של רמות קצב גידול מקומיות אמפיריות. ובהחלה על הטבלה מלעיל:

n (גודל רשימה)	זמן הריצה של מחשב A (ננו שניות)	רמת קצב גידול מקומית (n^_)	זמן הריצה של מחשב B (ננו שניות)	רמת קצב גידול מקומית (n^_)
15	7	100,000
65	32	1.04	150,000	0.28
250	125	1.01	200,000	0.21
1,000	500	1.00	250,000	0.16
...	...	...
1,000,000	500,000	1.00	500,000	0.10
4,000,000	2,000,000	1.00	550,000	0.07
16,000,000	8,000,000	1.00	600,000	0.06
...	...	...

קל לראות כי האלגוריתם הראשון מראה קצב גידול ליניארי אשר בבירור עוקב אחרי כלל הכוח. הערכים האמפיריים עבור השני הולכים ופוחתים במהירות, מה שרומז כי האלגוריתם השני עוקב אחרי חוק אחר של קצב גידול ובכל מקרה יש לו רמות קצב גידול מקומיות הרבה יותר נמוכות (אשר עדיין משתפרות), באופן אמפירי, מאשר לאלגוריתם הראשון.

הערכת סיבוכיות זמן ריצה

את מורכבות זמן הריצה למקרה הגרוע ביותר של אלגוריתם נתון ניתן לעיתים להעריך על ידי בחינת המבנה של האלגוריתם ולקיחת מספר הנחות מפשטות. נתבונן ב-pseudocode הבא:

(* get a positive integer from input *)
if n > 10
 write 'This might take a while...'
for i = 1 to n
 for j = 1 to i
 write i * j
write 'Done!'

מחשב נתון ייקח כמות הזמן בדידה לביצוע כל הפקודות המעורבות עם ביצוע האלגוריתם הזה. כמות הזמן המסוימת כדי לבצע פקודה נתונה ישתנו בהתאם לפקודה אשר מתבצעת, ועל פי איך המחשב מבצע אותה, אבל על מחשב רגיל, כמות זמן זו היא דטרמיניסטית (המקרה שונה במקרה של מחשב קוונטי). נניח כי הפעולות שבוצעו בשלב 1 נחשבות צורכות זמן T₁, אלה שבשלב 2 צורכות זמן T₂, וכך הלאה.

באלגוריתם לעיל, שלבים 1, 2 ו-7 ירוצו פעם אחת בלבד. עבור הערכה של המקרה הגרוע ביותר, יש להניח כי שלב 3 יורץ גם הוא. לפיכך, הסכום הכולל של זמן כדי לריץ את צעדים 1–3 וצעד 7 הוא:

${\displaystyle T_{1}+T_{2}+T_{3}+T_{7}.\,}$

את הלולאות בשלבים 4, 5 ו-6 יותר מסובך להעריך. החיצונית בשלב 4 תרוץ (n + 1) פעמים (שימו לב כי צעד נוסף נדרש כדי לסיים את ללולאה, ולכן 1 + n ולא n ריצות), אשר יצרכו T₄(n + 1) זמן. הלולאה הפנימית, לעומת זאת, נשלטת על ידי הערך של i, אשר נע מ-1 עד i. במעבר הראשון דרך הלולאה החיצונית. j. נע מ-1 ל-1: הלולאה הפנימית רצה פעם אחת, אז הרצת הלולאה הפנימית (שלב 6) צורכת T₆, והלולאה הפנימית (שלב 5) צורכת 2T_5. זמן. במעבר הבא דרך הלולאה החיצונית. j. נע מ-1 ל-2: לולאה הפנימית רצה פעמיים, אז הרצת הלולאה הפנימית (שלב 6) צורכת 2T₆, והלולאה הפנימית (שלב 5) צורכת 3T₅ זמן.

בסך הכל, כל הזמן הנדרש כדי להפעיל את הלולאה הפנימית יכול לבוא לידי ביטוי כהתקדמות אריתמטית:

${\displaystyle T_{6}+2T_{6}+3T_{6}+\cdots +(n-1)T_{6}+nT_{6}}$

אשר יכול להתווסף כפקטור כך ${\displaystyle 1+2+3+\cdots +(n-1)+n={\frac {n(n+1)}{2}}}$ את הסך כל הזמן הנדרש כדי להפעיל את הלולאה החיצונית ניתן להעריך באופן דומה:

${\displaystyle {\begin{aligned}&2T_{5}+3T_{5}+4T_{5}+\cdots +(n-1)T_{5}+nT_{5}+(n+1)T_{5}\\=\ &T_{5}+2T_{5}+3T_{5}+4T_{5}+\cdots +(n-1)T_{5}+nT_{5}+(n+1)T_{5}-T_{5}\end{aligned}}}$

אשר יכול להתווסף כפקטור כך

${\displaystyle {\begin{aligned}&T_{5}\left[1+2+3+\cdots +(n-1)+n+(n+1)\right]-T_{5}\\=&\left[{\frac {1}{2}}(n^{2}+n)\right]T_{5}+(n+1)T_{5}-T_{5}\\=&T_{5}\left[{\frac {1}{2}}(n^{2}+n)\right]+nT_{5}\\=&\left[{\frac {1}{2}}(n^{2}+3n)\right]T_{5}\end{aligned}}}$

לכן, סה"כ זמן ריצה עבור אלגוריתם זה הוא:

${\displaystyle f(n)=T_{1}+T_{2}+T_{3}+T_{7}+(n+1)T_{4}+\left[{\frac {1}{2}}(n^{2}+n)\right]T_{6}+\left[{\frac {1}{2}}(n^{2}+3n)\right]T_{5}}$

אשר יורד עד כדי

${\displaystyle f(n)=\left[{\frac {1}{2}}(n^{2}+n)\right]T_{6}+\left[{\frac {1}{2}}(n^{2}+3n)\right]T_{5}+(n+1)T_{4}+T_{1}+T_{2}+T_{3}+T_{7}}$

ככלל אצבע, ניתן להניח שהסדר הגבוה ביותר בכל פונקציה שולט בקצב הצמיחה, ובכך מגדיר את סדר זמן הריצה. בדוגמה זו, n^2 הוא הסדר הגבוה ביותר, אז ניתן להסיק כי f(n) = O(n2). באופן רשמי, זה יכול להיות מוכח, כדלקמן:

Prove that ${\displaystyle \left[{\frac {1}{2}}(n^{2}+n)\right]T_{6}+\left[{\frac {1}{2}}(n^{2}+3n)\right]T_{5}+(n+1)T_{4}+T_{1}+T_{2}+T_{3}+T_{7}\leq cn^{2},\ n\geq n_{0}}$

${\displaystyle {\begin{aligned}&\left[{\frac {1}{2}}(n^{2}+n)\right]T_{6}+\left[{\frac {1}{2}}(n^{2}+3n)\right]T_{5}+(n+1)T_{4}+T_{1}+T_{2}+T_{3}+T_{7}\\\leq &(n^{2}+n)T_{6}+(n^{2}+3n)T_{5}+(n+1)T_{4}+T_{1}+T_{2}+T_{3}+T_{7}\ ({\text{for }}n\geq 0)\end{aligned}}}$

Let k be a constant greater than or equal to [T₁..T₇]

${\displaystyle {\begin{aligned}&T_{6}(n^{2}+n)+T_{5}(n^{2}+3n)+(n+1)T_{4}+T_{1}+T_{2}+T_{3}+T_{7}\leq k(n^{2}+n)+k(n^{2}+3n)+kn+5k\\=&2kn^{2}+5kn+5k\leq 2kn^{2}+5kn^{2}+5kn^{2}\ ({\text{for }}n\geq 1)=12kn^{2}\end{aligned}}}$

Therefore ${\displaystyle \left[{\frac {1}{2}}(n^{2}+n)\right]T_{6}+\left[{\frac {1}{2}}(n^{2}+3n)\right]T_{5}+(n+1)T_{4}+T_{1}+T_{2}+T_{3}+T_{7}\leq cn^{2},n\geq n_{0}{\text{ for }}c=12k,n_{0}=1}$

גישה יותר אלגנטית לניתוח אלגוריתם זה תהיה להכריז כי [T₁..T₇] כל אחד שווים יחידת זמן אחת, במערכת של יחידות שנבחרו, כך שיחידה אחת הוא גדול או שווה לזמן בפועל פעמים של שלבים אלה. כלומר שזמן הריצה של האלגוריתם מחושב כדלקמן:

${\displaystyle 4+\sum _{i=1}^{n}i\leq 4+\sum _{i=1}^{n}n=4+n^{2}\leq 5n^{2}\ ({\text{for }}n\geq 1)=O(n^{2}).}$

ניתוח קצב גידול של משאבים אחרים

ניתן להשתמש במתודולוגיה של ניתוח זמן ריצה לחישוב וחיזוי של קצבי גדילות של משאבים אחרים כגון צריכת זיכרון. כדוגמה, נתבונן בpseudocode אשר מנהל וממקם מחדש את השימוש בזיכרון על ידי תכנה, בהתבסס על הגודל של הקובץ אשר התכנה מנהלת:

while (file still open)

let n = size of file

for every 100,000 kilobytes of increase in file size

double the amount of memory reserved

במקרה הזה, ככל שגודל הקובץ n גדל, הזיכרון נצרך בקצב גידול מעריכי, אשר מסדר O(2ⁿ). זה מאוד מהיר ורוב הסיכויים קצב גידול לא ניתן לניהול של שימוש משאבי זיכרון.

רלוונטיות

החשיבות של ניתוח אלגוריתמים נובעת מהעובדה ששימוש מכוון או לא מכוון באלגוריתם לא יעיל יכול לפגוע בצורה משמעותית בביצועי מערכת. ביישומים שרגישים לזמן, אלגוריתם שלוקח יותר מדי זמן כדי לרוץ יכול למסור תוצאות מיושנות או חסרות תועלת. אלגוריתם לא יעיל יכול גם בסופו לצרוך כמות לא אקונומית של כוח מחשוב או אחסון על מנת לרוץ, מה שיגרום לו להיות חסר תועלת.

גורמים קבועים

אנליזה של אלגוריתמים בדרך כלל מתמקדת בביצועים אסימפטוטיים, במיוחד ברמה הבסיסית, אבל ביישומים מעשיים גורמים קבועים הם חשובים, ונתונים בעולם האמיתי תמיד מוגבלים בגודל בפועל. הגבול הוא בדרך כלל בגודל של זיכרון השמיש, אז על מערכות של 32 סיביות 2³² = 4 GiB (או יותר אם מזיכרון מקוטע), ובמערכות של-64 סיביות 2⁶⁴ = 16 EiB. לפיכך תחת גודל מוגבל, סדר הגודל (זמן או מקום) יכול להיות מוחלף על ידי גורם קבוע, ובמובן זה כל האלגוריתמים המעשיים הם O(1) עבור קבוע מספיק גדול, או גודל נתונים קטן מספיק.

פרשנות זו היא יעילה בעיקר עבור פונקציות הגדלות לאט מאוד: (בינארית) הלוגריתם החוזר (log^*) הוא פחות מ-5 לכל כמות נתונים מעשית (2⁶⁵⁵³⁶ ביטים); (בינארי) log-log (log log n) הוא פחות מ-6 לכמעט כל כמות נתונים מעשית (2⁶⁴ סיביות); ובינארית (log (log n) הוא פחות מ-64 לכמעט כל כמות נתונים מעשית (2⁶⁴ סיביות). אלגוריתם עם מורכבות שאינה קבועה עשוי בכל זאת להיות יותר יעיל מאשר אלגוריתם קבוע על נתונים פרקטיים אם החסם העליות של הזמן הקבוע יוצר תוצאה קבועה גדולה יותר לדוגמה יכול להיות ${\displaystyle K>k\log \log n}$ כל עוד ${\displaystyle K/k>6}$ ו ${\displaystyle n<2^{2^{6}}=2^{64}}$.

עבור כמות גדולה של מידע לא ניתן להתעלם מגורמים ליניארים או ריבועיים, אבל עבור כמויות קטנות של מידע אלגוריתם לא יעיל אסימפטוטית להיות יעיל יותר. זה במיוחד בשימוש במקרה של אלגוריתמים היברידיים, כמו Timsort, אשר משתמש באלגוריתם לא יעיל אסימפטוטית (כאן במיון מיזוג, עם מורכבות הזמן ${\displaystyle n\log n}$), אבל מחליף לאלגוריתם יעיל אסימפטוטית (כאן מיון החדרה, עם מורכבות הזמן ${\displaystyle n^{2}}$) עבור כמות נתונים קטנה, כיוון שהאלגוריתם הפשוט יותר הוא מהיר יותר על כמות קטנה של נתונים.

ראו גם

• ניתוח לשיעורין
• O גדול
• תורת מורכבות חישובית
• תיאורמת מאסטר
• אנליזה נומרית
• פולינום זמן
• מדרגיות
• מורכבות זמן

לקריאה נוספת

• Cormen, Thomas H.; Leiserson, Charles E.; Rivest, Ronald L.; Stein, Clifford (2001). Introduction to Algorithms. Chapter 1: Foundations (Second ed.). Cambridge, MA: MIT Press and McGraw-Hill. pp. 3–122. ISBN 0-262-03293-7.
• Sedgewick, Robert (1998). Algorithms in C, Parts 1-4: Fundamentals, Data Structures, Sorting, Searching (3rd ed.). Reading, MA: Addison-Wesley Professional. ISBN 978-0-201-31452-6.
• Knuth, Donald. The Art of Computer Programming. Addison-Wesley.
• Greene, Daniel A.; Knuth, Donald E. (1982). Mathematics for the Analysis of Algorithms (Second ed.). Birkhäuser. ISBN 3-7643-3102-X.
• Goldreich, Oded (2010). Computational Complexity: A Conceptual Perspective. Cambridge University Press. ISBN 978-0-521-88473-0.

קישורים חיצוניים

• אנליזה של אלגוריתמים, באתר אנציקלופדיה בריטניקה (באנגלית)

הערות שוליים

1. Donald Knuth, Recent News
2. Alfred V. Aho; John E. Hopcroft; Jeffrey D. Ullman (1974). The design and analysis of computer algorithms. Addison-Wesley Pub. Co.
3. Juraj Hromkovič (2004). Theoretical computer science: introduction to Automata, computability, complexity, algorithmics, randomization, communication, and cryptography. Springer. pp. 177–178. ISBN 978-3-540-14015-3.
4. Giorgio Ausiello (1999). Complexity and approximation: combinatorial optimization problems and their approximability properties. Springer. pp. 3–8. ISBN 978-3-540-65431-5.
5. Wegener, Ingo (2005), Complexity theory: exploring the limits of efficient algorithms, Berlin, New York: Springer-Verlag, p. 20, ISBN 978-3-540-21045-0
6. Robert Endre Tarjan (1983). Data structures and network algorithms. SIAM. pp. 3–7. ISBN 978-0-89871-187-5.
7. Examples of the price of abstraction?, cstheory.stackexchange.com
8. How To Avoid O-Abuse and Bribes, at the blog "Gödel’s Lost Letter and P=NP" by R. J. Lipton, professor of Computer Science at Georgia Tech, recounting idea by Robert Sedgewick