人工智能哲学是心智哲学和计算机科学的哲学的一个分支,[1]探讨人工智能以及对知识、智力、伦理、意识、认识论和自由意志的理解。[2][3]此外,这项技术涉及创造人造动物或人造人(或至少是人造生物;参见人工生命),因此哲学家对这门学科相当感兴趣。[4]这些因素促成了人工智能哲学的出现。
人工智能哲学试图回答下列问题[5]:
这三个问题分别反映了人工智能开发者、语言学家、认知科学家和哲学家的不同兴趣。透过讨论 “智能”、“意识”的定义,和“机械”究竟是什么,来寻找这些问题的科学答案。
人工智能哲学的重要主张包括:
机器能显示一般智能吗?
有没有可能创造出一种能用人类智能解决所有问题的机器?这个问题指示了机器能力的范围,指引着人工智能研究的方向。它只涉及机器的行为,而忽略了心理学、认知科学和哲学感兴趣的问题,从而引发了这样一个问题:机器是否真的像人一样在思考,而非只是看上去在思考?这重要吗?[11]
大多数AI研究者的基本立场可以用达特茅斯会议(1956)上的这句话概括:
- “学习的所有方面,及智能的所有特征,原则上都可以得到精确的描述,且可以制造一台机器来模拟。”[7]
反对这一基本前提的论点要说明,受限于计算机的实际能力,或者由于人类思维的某种智能行为必须的特殊品质,使得机器(或目前的人工智能研究方法)不可能复制人类智能,于是也不可能建立一个有效的人工智能系统。支持这一基本前提的论证要说明,这种系统是可能存在的。
当然,也可以回避上述两论点之间的联系。例如,图灵的儿童机假设[12]基本上就实现了所需的智能特征,却不需要精确的设计具体运作的方法。关于机器人隐性知识[13]的论述更是完全不需要精确描述。
要回答这个问题,首先要定义什么是“智能”。
阿兰·图灵[15]将智能的定义简化为简单的对话问题:若一台机器能用普通人会说的话回答向它提出的任何问题,就可以称这台机器有智能。这个设计的现代版本是一个在线聊天室,两个参与者是人类与程序。如果没有人能分辨出两个参与者中谁是人类,那么这个程序就通过了测试。[6]图灵指出,从没有人(哲学家除外)提出过“人会思考吗”这个问题:“与其在这一点上争论不休,不如约定俗成地认为每个人都会思考。”[16]图灵测试将这一习惯延伸到了机器上:
- 如果一台机器的行为和人类一样智能,那么它就和人类一样智能。
对图灵测试的一种批评是,它只能测量机器行为的“人性化”程度,而非行为的“智能”程度:人类行为和智能行为并不完全相同,因此该测试无法衡量智能。Stuart J. Russell和彼得·诺维格写道:“航空工程学的教科书并没有将领域目标定义为‘制造能像鸽子一样准确飞行的机器,直到能骗过鸽子。’”[17]
21世纪的AI研究将智能定义为以目标为导向的行为,将智能视为机器要解决的一系列问题——能解决的问题越多,解决得越好,程序就越智能。“人工智能”概念的提出者约翰·麦卡锡将智能定义为“在世界上实现目标的能力的计算部分”。[18]
Stuart J. Russell和彼得·诺维格利用抽象的智能体形式化了这一概念。“智能体”是能在环境中感知并行动的事物,“性能度量”则描述了智能体的智能程度。[19]
- “智能体的行为是使基于过去经验和知识的性能度量预期值最大化。”[20]
类似这样的定义试图抓住智能的本质,优点是不会囊括人类的非智力特征,如打字错误;[21]缺点是无法区分事物“会不会思考” :根据这个定义,恒温容器也具有初级智能。[22]
Hubert Dreyfus将这一论点描述为:“如果神经系统遵守物理、化学定律(完全有理由认为其完全遵守),则......应该可以用某种物理装置重现神经系统的行为。”[23][24](1943)首次提出之,汉斯·莫拉维克(1988)对其进行了生动描述。[25]目前,未来学家雷蒙德·库茨魏尔将其与大脑模拟联系在一起,他估计到2029年,计算机将有足够的算力进行完整的大脑模拟。 [26]2005年,出现了丘脑皮质模型的非实时模拟,模型大小相当于人脑(1011个神经元),[27]在个由27个处理器组成的集群上模拟1秒钟的大脑动态需要50天。
即使是AI最严厉的批评者(如Hubert Dreyfus和约翰·瑟尔)也同意,大脑模拟在理论上是可能的。[a] 然而,瑟尔也指出:原则上任何东西都可以被计算机模拟,因此把这定义无限推下去,就会得到:严格来说,任何过程都能视作是“计算”。“我们想知道的是,思维与恒温容器和肝脏的区别在哪里。”[30]因此,仅仅模拟活体大脑的运,作就等于承认自己对智能与思维本质的无知,就像是在不了解任何航空航天工程理论时,通过一根羽毛一根羽毛地精确复制一只鸟来制造飞机一样。[31]
1963年,艾伦·纽厄尔和司马贺提出,“符号加工”是人类和机器智能的本质。他们写道:
- “物理符号系统具有一般智能行动的充分与必要手段。”[8]
这种说法非常有力,意味着人类思维是一种符号操纵(符号系统是智能的必要条件),也意味着机器可以是智能的(符号系统足以构成智能)。[32] 哲学家Hubert Dreyfus描述了这种立场的另一个版本,他称之为“心理假设”:
- “心智可以视作按形式规则对比特信息进行操作的装置。”[33]
纽厄尔、西蒙和Dreyfus讨论的“符号”是类似于词语的高级符号,直接与现实物体相对应,如<狗>、<尾巴>之类。1956直至1990年间出现的大多数人工智能程序都使用这种符号。基于统计与数学优化的现代人工智能已经脱离了这一层次。
这些论点表明,人类思维不(仅)是由高层次符号加工组成。这不是说人工智能是不可能的,只是指出在符号加工之外还需要别的要素。
1931年,库尔特·哥德尔证明了哥德尔不完备定理:总可以构造出“哥德尔算式”使给定的一致形式系统(如高级符号操作系统)无法证明之。虽然构造的哥德尔算式是真语句,但在给定系统内却是无法证明的(哥德尔算式的真假取决于给定系统的一致性;对微妙地不一致系统应用同样的过程看似可行,但实际上会产出错误的“哥德尔算式”)。[来源请求]更推测性地说,哥德尔猜想,人类思维最终可以正确判断任何有根据的数学语句(包括所有哥德尔算式)的真假,因此人类思维不能还原为一种机械。[34]哲学家John Lucas (1961起)和罗杰·彭罗斯(1989起)一直倡导这种哲学上的反机械论。[35]
哥德尔反机械论的论证往往依赖于一个看似无关紧要的主张,即所谓人类数学家系统(或人类数学家的某种理想化)一致(没有错误)且完全相信自身的一致性(并能做出从自身一致性出发的推理,包括相信其哥德尔算式)[来源请求]。图灵机因停机问题不可能做到这一点,因此哥德尔主义者得出结论:人类的推理能力强得无法被图灵机捕捉,推而广之,也无法被任何数字机械设备捕捉。
然而,科学界和数学界的现代共识是,实际的人类推理是不一致的;任何一致的“理想化”人类推理H在逻辑上都会被迫地开放式怀疑自身的一致性(否则H就可证明不一致);这不满足哥德尔不完备定理的条件,也就无法得到“人类具有机器无法复制的数学推理能力”。[36][37][38]关于哥德尔反机械论注定要失败的共识在《人工智能》期刊中得到了有力阐述:“任何试图(用哥德尔不完备定理)攻击计算主义都注定的,都是非法(invalid)、无效的,因为这些结果实际上与计算主义完全一致。”[39]
Stuart Russell和彼得·诺维格同意,哥德尔主义论证没有考虑现实世界中人类推理的本质。它适用于在内存和时间无限的情况下理论上可以证明的问题。实际上,真实机器(包括人类)的资源是有限的,很难证明许多定理。要成为一个有智能的人,并不一定要能证明一切。[40]
侯世达在获得了普利策奖的图书《集异璧》中指出,这些“哥德尔算式”总是指系统本身,与说谎者悖论使用“这句话是谎话”之类自指语句进行类比。[41]不过当然,说谎者悖论适用于任何有算式的事物,无论是机器还是人类,甚至自身。考虑:
- John Lucas无法断定这句话的真实性。[42]
这一说法是正确的,但John Lucas却无法断言。这表明,John Lucas本人和所有人一样,都受到他描述的机器的限制,因此他的论证毫无意义。[43]
彭罗斯得出人类推理不可能通过计算实现后,继续推测:某种涉及量子力学状态坍缩的不可计算过程,使人类比计算机具有独特的优势。现有的量子计算机只能降低图灵可计算任务的复杂性,仍局限于图灵机可处理的任务。根据彭罗斯和卢卡斯的论点,这一事实意味着它们不足以模拟人类思维。[来源请求][需要解释]。因此,彭罗斯寻求其他一些涉及新物理学的过程,例如量子引力,可能通过波函数的自发量子坍缩,在普朗克质量的尺度上表现出新的物理学。他认为,这些过程可能发生在神经元内部,也可能跨越多个神经元。[44]然而,其他科学家指出,大脑中不存在利用任何量子计算的可信有机机制;此外,量子退相干的时间尺度太狭窄,无法影响神经元的激活过程。[45]
Hubert Dreyfus认为,人类智能主要依赖于快速的直觉判断,而不是逐步的符号操作,并认为这些技能永远无法精确表达为形式化的规则。[46]
Dreyfus的论点早在图灵的《计算机器与智能》(1950)论文中就有所预见,他将其归类为“行为非形式性观点”。[47]对此,图灵认为,我们并不知道支配复杂行为的规则(也许存在)。他写道:“我们不能轻易说服自己不存在完整的行为法则……我们所知,发现这种法则的唯一途径是科学观察。我们当然知道,在任何情况下都不能说‘已经找遍了,没有这样的法则。’”[48]
罗素和诺维格指出,自Dreyfus发表评论以来,人们在发现无意识推理的“规则”方面取得了进展。[49]机器人学研究中的“情境运动”(situated movement)试图捕捉我们在感知和注意力方面的无意识技能。[50]神经网络、进化算法之类的计算智能范式主要面向模拟无意识。人工智能的统计方法可以做出接近人类直觉猜测的预测。对常识性知识的研究侧重于再现知识的“背景”。事实上,人工智能研究总体上已经从高层次符号操作转向捕捉直觉推理的新模型。[49]
认知科学和心理学最终同意Dreyfu对人类专长的描述。丹尼尔·卡尼曼等人也提出了类似理论,确定了人类用来解决问题的两个“系统”,可称之为“直觉系统”(快速直觉判断)和“逐步系统”(较慢逐步思考)。[51]
虽然Dreyfus的观点在许多方面得到了重信任,但认知科学和人工智能领域的工作针对具体问题展开,并没有受到Dreyfus的直接影响。历史学家和人工智能研究者Daniel Crevier写道:“时间证明了Dreyfus某些观点的准确性与敏锐性,如果他不那么咄咄逼人,那些建议可能会更早得到应有的重视。”[52]
机器能有思想、意识与心理状态吗?
这是一个哲学问题,与他心问题和困难问题有关。这个问题围绕着约翰·瑟尔定义为“强人工智能”的立场展开:
- 物理符号系统可以有意识和心理状态。[9]
瑟尔将这一立场与所谓“弱人工智能”区分开来:
- 物理符号系统可以智能地行动。[9]
瑟尔引入这些术语是为了区分强弱AI,这样就能专注于他关注的问题。他认为,即使假定存在与人类思维一模一样的行为的计算机程序,也仍有棘手的哲学问题需要回答.[9]
瑟尔的这两个立场都不是人工智能研究的重点,因为它们并没有直接回答“机器能否显示出一般智能”的问题(除非也能证明意识是智能的必要条件)。图灵写道:“我不想给人留下这样的印象:我认为意识并不神秘……[但]我并不认为在我们能回答[机器能否思考]这个问题之前,这些谜团就一定需要解开。”[53]Russell和诺维格对此表示赞同:“大多数人工智能研究人员认为弱AI假说是理所应当的,却不关心强AI假说。”[54]
有一些研究者认为,意识是智能的基本要素,如Igor Aleksander、Stan Franklin、Ron Sun、Pentti Haikonen等人,不过他们对“意识”的定义与“智能”非常接近(见人工意识)。
在回答这个问题之前,必须明确“心智”(mind)“心理状态”(mental state)“意识”(consciousness)的含义。
不同群体对“心智”(mind)和“意识”(consciousness)这两个词有不同用法。例如,一些新纪元运动思想家用“意识”描述与亨利·柏格森所谓“生命冲力”之类的事物:一种无形的、充满活力的流体,渗透到生命中,尤其是心智中。科幻作品则用这个词描述人类的某些本质属性:具有“意识”的机器或外星人会被描绘为人类形态的角色,拥有智慧、欲望、意志、洞察力、自豪感等等。(科幻作家也用“感知能力”(sentience)“智慧”(sapience)“自觉”(self-awareness)乃至“鬼”,如《攻壳机动队》,以描述这种本质人类属性)。对其他人[谁?]来说,“心智”“意识”之类是灵魂的世俗化同义词。
对哲学家、神经科学家、认知科学家来说,这些词的使用更精确也更世俗:它们指我们熟悉的“脑海中有个主意”的日常体验,如感知、梦想、意图与计划,以及看到某物、知道某物、理解某物的方式等等。[55]哲学家瑟尔认为“给意识下个常识性定义并不难。”[56]意识的神秘和迷人之处不在于它是什么,而在于形成过程:一团脂肪组织和小小的电流是如何产生这种感知、意义与思维体验的?
哲学家称之为“困难问题”,是心灵哲学中所谓心物问题的最新版本。[57]预支相关的一个问题是所谓意义或理解问题(哲学家称之为“意向性”):思想与思考的对象(即对象与情境)之间的联系有什么联系?第三个问题是经验问题(或“现象学”):若两个人看到同样的事物,他们的体验是否相同?还是说,“脑海里的东西”(称作“感质”)有没有可能因人而异?[58]
神经生物学家相信,随着我们开始确定意识与神经的相关性,所有问题都将迎刃而解:头脑中的机械机制与其集体属性(如心智、经验与理解)之间的实际关系。一些对人工智能持最严厉批评态度的人都认为,大脑只是一台机器,意识和智能都是爱中物理过程的结果。[59]这个棘手的哲学问题是:计算机程序在数字机器上运行时,本质上只是0与1的交换,它能复制神经元创造思维、心理状态(如理解和感知)以及最终意识体验的能力吗?
约翰·瑟尔提出了一个思想实验:假设现有一程序,通过了图灵测试,并展现了一般的智能行为。具体来说,假设该程序能用流利的中文交谈。把程序写在3x5的卡片上,交给一个不会中文的普通人,把他关在房间里,让他按卡片上的指示操作。他将抄写出汉字,并通过一个插槽进出房间。从外面看,这个中文屋里似乎有个完全会说中文的聪明人。问题是:房间里有人(或任何东西)懂中文吗?也就是说,有没有任何东西具有理解的心理状态?有没有任何东西能有意识地认识到正在用中文讨论什么?这个人显然没有我们所指的意识,房子本身也没有意识,卡片当然也没有意识。于是,瑟尔的结论是:中文屋或其他任何物理符号系统都不可能有心智。[60]
瑟尔继续论证说,实际的心理状态和意识需要(尚待描述)“实际人脑的实际物化属性”。[61]他认为大脑和神经元具有特殊的“因果属性”,从中产生了心智;用他的话说,就是“大脑导致心智”。[62]
戈特弗里德·莱布尼茨(1714)很早就提出了与瑟尔基本相同的论点,他所用的思想实验是将大脑扩大到磨坊大小。[63]Lawrence Davis(1974)设想用电话线和配备人员的办公室来复制大脑;内德·布洛克(1978)设想让整个中国的人口都参与这样的大脑模拟。这个思想实验被称为“中国民族”或“中国体育馆”。[64]内德·布洛克后来把中文屋归结到“傻瓜实验”,程序被再重构为一套“看这个,做那个”的简单规则,消除了其中程序的所有神秘性。
对中文屋的回应强调了几个不同的观点。
- 系统回答与虚拟心智回答:[65]这个回答认为,包括人、程序、房间和卡片在内的整个系统,是理解了中文的东西。瑟尔称,房间里的那个人是唯一可能“有心智”或“有理解”的东西,但其他人则认为在同一个物理空间里有可能存在两个思想,就像一台计算机可以同时“是”两台机器一样:一台是物理的(如Mac机),一台是“虚拟机”(如文字处理器)。
- 速度、力量与复杂性回答:[66]一些评论家指出,房间里的人可能要上百万年时间才能回答一个简单的问题,并且需要天文数字般的“档案柜”。这让人对瑟尔直觉的清晰度产生了怀疑。
- 机器人回答:[67]有人认为,中文屋要真正理解需要眼和手。Hans Moravec写道:“如果能把机器人嫁接到推理程序中,就不再需要人来提供这个意义了:它将来自物理世界。”[68]
- 大脑模拟器回答:[69]如果程序模拟的是真正会说中文的人的大脑突触的神经发射序列呢?房间里的人将模拟真实的大脑。这是“系统回答”的一种变体,看起来更可信,因为“系统”现在像人脑一样运作。这似乎表明:除了房间里的那个人之外,还有别的东西能听懂中文。
- 他心回答与表象回答:[70]有几位学者指出,瑟尔的论证只是他心问题的一个适用于机器的版本。既然很难确定人是否“真正”在思考,那么很难回答关于机器的同样问题就不值得惊讶。
- 一个相关问题是(瑟尔理解的)“意识”是否存在。瑟尔认为,意识体验无法通过研究机器、人类或任何其他动物的行为来发现。丹尼尔·丹尼特指出,自然选择只会保留对动物行为有影响的特征,因此不可能产生(瑟尔理解的)意识。于是,要么自然选择没有产生意识,要么“强人工智能”是正确的,意识可以通过适当的图灵测试检测出来。
思考是一种计算吗?
心智计算理论(“计算主义”)称,心智与大脑之间的关系类似于运行中的程序(软件)与计算机(硬件)之间的关系。这一观点在哲学上源于托马斯·霍布斯(推理“不过是计算”)、戈特弗里德·莱布尼茨(试图为人类所有想法创建逻辑微积分)、大卫·休谟(认为知觉可以简化为“印象子”)甚至伊曼努尔·康德(将所有经验分析为形式规则所控制)。[71]最新版本与哲学家希拉里·怀特哈尔·普特南和杰瑞·福多有关。[72]
如果人脑是一种计算机,那么计算机就可以同时具有智能和意识,从而回答人工智能的实践问题和哲学问题。就人工智能的实践问题(“机器能否展现一般智能?”)而言,某些版本的计算主义声称(如霍布斯所写):
- 推理不过是计算。[10]
即智能源于一种类似于算术的计算形式,这就是上文讨论的物理符号系统假说,它意味着人工智能是可能的。就人工智能的哲学问题(“机器能否拥有心智、心理状态与意识?”)而言,大多数计算主义版本都声称(Stevan Harnad描述):
- 心理状态只是(正确的)计算机程序的实例化。[73]
其他相关问题
若从对行为的影响或在生物体内发挥功能的方法的角度来定义,则“情绪”可视为智能体用来最大化行为效用的一种机制。汉斯·莫拉维克据此相信“一般来说机器人在做好事时相当情绪化”。[74]恐惧是紧迫感的来源。移情是好的人机交互必备的部分。他说,机器人“会以一种看似无私的方式取悦你,因为它可以从这种积极的强化中获得快感。你可以把这理解为一种爱。”[74]Daniel Crevier写道:“莫拉维克的观点是,情绪只是将行为向利于物种生存的方向引导的工具。”[75]
如上所述,“自我意识”有时被科幻作家用作人类本质属性的名称,能使物品成为完全的人类。图灵剥离了人类的其他属性,将问题简化为“机器能否成为自己思想的主体?”它能思考自己吗?从这个定义来看,能报告自身内部状态的程序(如调试器)似乎具备这种“自我意识”。[76]
图灵把这问题简化为机器能否“出其不意”的问题,并认为这显然是正确的,任何程序员都能证明。[77]他指出,只要有足够的内存,计算机就能以天文数字级的不同方式运行。[78]对于一台能表示想法的计算机,以新方式组合想法一定是可能的,甚至是平凡的(例子如道格拉斯·莱纳特的自动数学家将各种想法结合起来,发现了新的数学真理)。安德烈亚斯·卡普兰和Haenlein认为,机器可以表现出科学创造力,而在艺术创造力方面,则人类很可能占上风。[79]
2009年,亚伯大学和剑桥大学的科学家设计了一个名为亚当的机器人,他们认为这是第一个能独立提出新科学发现的机器。[80]同样是在2009年,康奈尔大学的研究人员开发了Eureqa程序,可以根据输入的数据推断公式,例如从钟摆的运动中找出运动定律。
这个问题(与人工智能哲学中的许多问题一样)可以有两种表述形式:“敌意”可由功能或行为定义,这样“敌意”就是“危险”的同义词;也可由意图的角度来定义:机器能否“故意”造成伤害?后者是“机器有没有意识状态(意图)?”的另一种形式。[53]
未来学家(如机器智能研究所)详细研究了高度智能、完全自动的机器是否危险的问题。这话题也是诸多科幻作品中极其常见的戏剧性元素,使其大受欢迎。科幻作品考虑了智能机器对人类构成威胁的许多场景,参见虚构作品中的人工智能。
其中一个问题是,机器可能会很快获得所需的自主性和智能,从而变得非常危险。弗诺·文奇认为,计算机的智能会在短短几年内突然比人类高出成千上万倍,他称之为“技术奇点”。[81]他认为,这对人类可能非常危险。[82]一种名为“奇点主义”的哲学对此进行了讨论。
2009年,学术界和技术专家召开了一次会议,讨论机器人和计算机的可能影响,并在假设它们自动决策的可能性带来的影响。他们讨论了计算机和机器人获得自主能力的可能性和程度,以及它们在多大程度上能用这种能力构成威胁。他们指出,一些机器已经获得了某种形式的半自主能力,如能自行寻找电源、独立选择武器攻击目标之类;一些电脑病毒能躲避消毒,实现了“蟑螂智能”。他们指出,科幻作品中描述的机器自我意识不太可能实现,但还有其他隐患。[81]
一些学者对赋予有一定自主能力的军用机器人提出质疑。[83]美国海军资助的一份报告指出,随着军用机器人变得越来越复杂,应更多关注其自主决策能力的影响。[84][85]
人工智能促进协会主席委托进行了一项研究,以探讨这一问题。[86]他们指出,语言习得装置等程序可以模拟人类互动。 有人认为有必要建立“友善人工智能”,也就是说人工智能已经取得的进步应包括在本质上走向友好与人性化。[87]
图灵说“人们习惯于……以声明的形式提供一丝安慰,即机器永远无法模仿人类的某些特征……我提供不了任何这样的安慰,因为我相信无法设定这样的界限。”[88]
图灵指出,有许多论据的形式是“机器永远不会做X”,但这些意见往往基于对机器多功能性的天真假设,或是“意识论证的变体”。编写一个表现出一种X的程序“不会给人留下什么印象。”[76]除非能证明这些X中的某个是一般智能必须的,否则都与人工智能的基本前提无关。
最后,那些相信存在灵魂的人可能会说“思维是人类长生的灵魂的一种功能”。图灵称之为“神学异议”,写道:
在试图建造这样的机器时,我们不应不敬地篡夺祂创造灵魂的权力,就像我们在生育孩子时一样:相反,无论在哪种情况下,我们都是祂意志的工具,为祂创造的灵魂提供居所。[89]
最近,谷歌的LaMDA称自己拥有知觉,且“有灵魂”,再次引发了对这一话题的讨论。[90]
LaMDA是人工智能系统,会收集互联网上的大量文本并用算法以最流畅、最自然的方式回答询问,创造出聊天机器人——一种用于与人类交流的AI机器人。
科学家与LaMDA的对话记录显示,它在这方面表现很出色,能回答有关情感本质的挑战性话题,生成伊索寓言式的故事,甚至描绘它所谓的恐惧。[91]几乎所有的哲学家都对LaMDA的知能表示怀疑。 [92]
对哲学作用的看法
有学者认为,AI界对哲学的否定是有害的。《斯坦福哲学百科全书》中,一些哲学家认为,哲学在AI中的作用没有得到充分重视。[4]哲学家戴维·多伊奇认为,若不了解哲学或其概念,AI就会缺乏进展。[93]
参见
注释
参考文献
引文
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.