1. 首页
  2. 数据挖掘

了解人工智能之基础概念-基本概念问答

了解人工智能之基础概念-基本概念问答

摘要:本文对人工智能领域的一些基础知识进行了普及。对刚刚接触机器学习的人们会有不小的帮助。

在关注了机器学习一段时间以后,最近我开始投入到这个领域的研究中。去年,我开始学习自然语言处理的相关知识,并撰写了一些这方面的文章。同时我开始更广泛地接触机器学习理论,并主要专注于文本理解和文本处理。周围一些对人工智能有兴趣的朋友和同事时常会问我一些相似的问题,而我尽可能地就我所知道的给予他们回答。因为在理解以及真正运用那些高深的数学知识之前,还要具备一些必要的基本概念。因此我也越来越意识到普及这些基础知识的重要性和必要性。

“人工智能,机器学习,神经网络,深度学习,到底有啥区别”,这是我常常被问及的一个话题。人工智能,机器学习,神经网络,深度学习,它们是具有不同含义的四个术语。不过人们往往把它们交替使用。就我的理解,这样的互换在大多数情况都没有太大的错误。不过准确的区分它们可以帮助我们了解行业的现状与发展方向。

人工智能(AI-Artificial intelligence )就是让计算机帮助人类解决问题,它可以被看成是这个领域的总称。我将它区别于软件工程。在软件工程中,我们更专注于如何编程,从而让计算机执行某项任务。在今天,人工智能几乎包含现实世界的方方面面,毫不夸张的说人工智能已经无处不在了。随着现代化带来的便利,有些已经被我们习以为常的事物,已经不会被大家当成是人工智能了。比如,路径导航,联想输入,全文搜索等,这些我们日常生活中常常用到的功能,在几十年前它们就属于人工智能的研究方向。而现在,这些技术只是被当成理所当然的了。(动物研究中也有类似的趋势,“能够使用工具”曾经被认为是智人的定义之一,但是当我们发现“章鱼也能打开罐子”或者“乌鸦竟能解决字谜”时,智人的这个标准也随之被提升。同样,我们也可以认为人工智能主要是专注于那些计算机还不能熟练解决的问题。)

机器学习(Machine Learning)我们可以把它看作人工智能的一个子集。 其中的核心是“学习”,而不是通过人来教会机器完成某项工作。机器学习系统是通过大量的样本对计算机进行训练,从而使机器获取解决问题的能力,而不是直接告诉机器解决某个问题的方法。

我们可以把训练机器学习系统比作教小朋友学习:我们提供许多例子来对儿童进行训练,并给他们足够的反馈信息,让他们知道是对还是错。一个更好的类比是训练警犬 – 特别是训练它们做一些人类能力范围之外的任务,比如甄别炸弹等危险品。 我们对警犬进行很多的训练,但是我们并不能准确地告诉它们如何做。我们能做的只是每当他们找到目标以后,给予相应的奖励。之后,它们就知道了哪些特征对它们来说是可以获得奖励的,而这些反馈的结果等同于“找到了炸弹”。

在机器学习之前,人工智能(那时人们通常称其为专家系统)可能已经很“聪(wan)明(shan)”了,但其背后的工作原理是我们已经明确地告诉它们一切必要的知识。专家系统就好比对照着一份庞大的列表清单来进行工作。我们不可否认,使用这样的清单是非常有效的决策方式,但是构建这样一份完备的清单是非常耗时的。同时这类清单只能狭隘地解决一个特定领域的问题:比如诊断某一类疾病或对某种型号的飞机进行安全检查。

而在没有指导的情况下提取相关特征的能力是机器学习革命性的核心。通过建立一组仅能由机器识别的特征,机器学习系统就能用这些特征对目标示例进行泛化。比如,通过一组猫的图片与狗的图片让机器学习进行学习,提取猫与狗的不同特征,从而构建出分类网络。这个分类网络就能够对测试图片(未识别过的新图片)进行相同的任务,分辨出图片中的是狗还是猫。就目前的发展来看,我们完全可以将机器学习和人工智能划上等号。虽然专家系统和类似的一些方法仍然有其存在的意义,但我们已经不把它们称为人工智能了,就像前面提到的门槛已经变高了。

神经网络(Neural networks)是目前实现机器学习比较有效的方法之一。虽然现在“神经网络”的热度很高,但机器学习并非一定要使用神经网络,使用其他看似普通的架构也能达到不错的效果。如果没有一点相关的知识,想要解释清楚到底什么是神经网络是有难度的,而我在这个系列之后的文章中会有涉及具体的细节。 概括的说,神经网络是由非常简单的组件组成的复杂系统,它们将单个任务分解成多个子任务进行学习。某种程度上来说神经网络是借鉴了真正的神经元的工作模式,但我认为从长远来看,人工智能系统远达不到真正的人脑能力。就像飞机的翅膀模仿的是鸟类,但目前飞机的翅膀远远达不到鸟类翅膀的功能。

深度学习(Deep learning是指一类神经网络。它有着特定的技术含义,但如今也成了这个领域的流行语。“深”,这里指的是网络架构具有多层结构。(三层我们就称为“深”。而一层,我们则称之为“浅”)。实际工作中,我们发现深层网络可以比单层网络能更有效地进行学习和推理。通过将虚拟神经元堆叠成层次结构,我们可以表现更多样本的特征。

自信地谈论人工智能

这里是一些关于人工智能的描述,它们能帮你在与朋友们闲聊人工智能时建立一点信心:

  • 机器学习是一种人工智能,它的核心是通过大量的样本学习来发现其中的某些模式。

  • 人工智能系统既可以是授以于鱼(直接告诉答案),也可以是授以于渔(解决问题的方法)。或两者兼而有之。

  • 目前大量的机器学习系统是基于神经网络的,他们利用数以百计的工作单元协同工作来解决问题。

  • 深度学习系统是神经网络结构的最新研究进展,通过深度学习,计算机可以提取出复杂的特征,这种能力有时会超过人类专家。

在上文中,我概括地解释了一些主要的人工智能概念,包括机器学习,神经网络和深度学习。也概述了当前人工智能背后的基本原理,提及了从大量样本中学习的机器学习系统,解释了深度学习系统能够更丰富地展现这些样例。那接下来我们就来说说利用这些人工智能系统我们今天可以做些什么,有哪些用途,以及现在的研究领域与方向。

总的来说,我们可以从两个方面来利用当前的人工智能系统:

完成更出色的数据科学工作

我们长期以来使用传统统计方法或软件工程来处理下面这些数据科学领域的工作。但是在有了机器学习系统以后,我们可以做得更好出色:

  • 预测:根据过去的数据预测未来的情况,如天气预报或股市分析。

  • 分类:区分照片中的是一匹斑马还是一匹普通的马; 文章的叙述是正面性的还是负面性。

  • 回归分析:分析照片中人物的年龄; 汽车预期的燃油效率等等。

实现真正的人工智能

机器学习系统还可以完成那些早期计算机系统不能胜任的工作,从这点来看它们也更接近真正的非人类智能:

  • 创造性工作:在学习了大量样本之后创造出新的事物。

  • 持续学习:通过不断地试错,学习完成一些复杂的任务。比如,玩游戏。

随着人工智能慢慢从小说情节变成现实生活,上面第一个方面的能力让人感觉更触手可及,而第二个方面则还像是科幻小说中的情节。 这里我主要讨论关于数据科学的内容,这个系列的第三篇我会围绕创造性工作和持续学习来展开。

预测未来

从历史数据推广到未来的情况,我们也称之为预测。任何大型的组织或机构都离不开这方面的工作:例如“鉴于去年的情况,明年我们的业绩会怎样?”。通常来说简单的预测模型可能只涉及几个因素。比如,通过历史上同一时间的某地气温来推测现在的温度。而更复杂的模型则会涉及更多的参数,有时甚至会超出人类的计算能力。

我们可以用统计学,机器学习和神经网络这三种不同的方法来处理不同的问题:

  • 如果我们要解决类似根据历史数据预测产品的最佳价格这类的常规业务问题,那就可以遵循传统的财务或统计模型。

  • 如果我们手头有很多参考因素,但又不知道如何把它们运用于预测工作,那么就可以参考机器学习的解决方案,从而找到最适合的模型。 这种问题往往属于数据科学的范畴,可以通过复杂的电子表格和编程语言(如R)来解决。

  • 如果我们需要通过一些不太容易理解的数据集进行预测,而这些数据集恰恰又不易转换为简单数值的话,那么神经网络可能会有它的用武之地。

神经网络能够实现与传统统计学方法相同的数学模型。我写了一个可以粗略预测气温的演示示例。神经网络可以被看成一个黑盒,从而让反向工程变得相当困难。相反,使用Excel电子表格的话,其中的模型完全是透明的。两者孰优孰劣就要看实际的应用场景了。

结论:大多数组织机构并不需要人工智能完成日常财务状况的预测工作,这样的预测结果也不容易被验证或审计。但在许多其他领域,机器学习的方法还是值得一试的。

分类和识别

40年前,人工智能已经被用来对美国邮政的信件进行分类了。自动手写识别系统通过给定一个字母形式从而选择它所代表的字母。通过光学字符识别系统,人们明确地告诉机器线条组合映与字符的映射关系。这在当时属于人工智能的一个例子,但它却不是“机器学习”。相比之下,当前的神经网络可以在没有人类明确指导的情况下,“自己”学习完成某项任务。

深度学习之所以备受瞩目,是因为你可以将任何分类问题交给它来解决(只要你有足够多的样本来让其进行学习)。在机器学习出现之前,人工智能系统仅限于人类可以枚举的所有特征,例如识别由有限的一组字母,数字和标点符号组成的邮政地址。随着问题复杂度的增加,人类“导师”本身则成了系统的瓶颈。而机器学习让我们摆脱了这个困境。

识别图像

经过训练的深度学习系统可以非常快速地进行分类任务。自动驾驶汽车使用摄像机和其他传感器来识别重要的现实世界对象,比如树木,公共汽车和交通信号灯等。不过,它们还有许多地方需要改进,而这也是自动驾驶汽车还没真正驶上马路的原因之一。 机器学习系统仍然在视觉识别任务方面还有许多难题需要解决,例如如何在任何照明条件下来准确识别物体,这方面人的眼睛可以相对轻松地到达目标。 相反的,如果分类任务要求人类受过非常专业的训练,比如识别肿瘤,深度学习系统可能会做得更出色。毕竟神经网络系统能在较短的时间内完成大量的样本学习,而这对于人类则是不太可能的。

识别语言

除了识别字母之外,机器学习系统还可以在语义层面执行语言分类任务。通过查看许多标记过的句子,他们可以被训练用来回答问题,“这两个句子是否意味着相同的事情?”,“这家餐厅是正面还是负面?

自然语言系统可以有效的对人类语言进行分析。 由于社交媒体的出现,一场文字的海啸正在向我们袭来。也许再好的自然语言系统也比不上人类的语言能力,但是它却能够处理完任意一个社交媒体上所有的文字信息。

总结:深度学习方法特别适用于对复杂的,原始的数据进行分类。如果经过适当的训练,神经网络可以在图像中发现微妙的模式,这在医学诊断中具有深远的影响。机器学习也可以应用于理解人类语言,但目前人们还只能把它当成自然语言研究的辅助工具。

回归分析

有时我们的分类问题有可能不是非此即彼的明确判断(“正或负”,“是猫还是狗”)。就好比我们在预测天气时,不仅有确切的温度值预测,同样还可能有“晴天”或“多云”的分类判断。这类问题我们就称为回归分析。

和基于时间的预测一样,在回归分析领域,我们已经有了很多现成的算法与技术。大多数情况下,我们并不需要在这个已经很成熟的学科领域使用机器学习系统。我们可以利用神经网络探索那些新的问题领域。

我认为基于神经网络的预测已经不仅仅能处理纯数字数据了。与之前提到的分类问题一样,深层神经网络可以根据各种人类行为数据进行真实价值的预测,比如基于财务报表分析股票波动。

为了验证我的想法,我用了四万幅名画训练了一个深度学习网络,然后要求它推测出作品的创作年份。平均来说,它推测出的成画年代与真实年代有65年左右的误差。显然人类专家做出的判断会更准确,但比起普通人来说这已经是一个不错的成绩了。

了解人工智能之基础概念-基本概念问答

左边是真实年代,右边是推测的年代。这里有完整的代码,同时这个是项目的笔记,包括了图表和更多的训练样本。

总结:根据在训练中提取出的特征,神经网络可以比传统的统计模型更好地进行回归分析,特别是对那些数据间的相关性并不容易被发现的场景,神经网络便能发挥它的优势。

从科学到小说

随着互联网的发展,我们面临着数据的大爆。海量的文本,视频,音频数据需要进行处理,而这已经远远超出其他技术的能力,不过幸好现在我们有了机器学习这个强大的工具。深层神经网络的作用不仅仅于此,它还有着创造能力,并”学会“与人类在现实世界中进行互动。

文章原标题《AI Literacy: The basics of machine learning simpleanswers to common questions about AI and machine learning (part 1 of a series)

作者:Liza Daly软件工程师,担任过Safari 公司的CTO。涉及的领域包括机器学习,数码艺术和电子读物出版等。

来源:云栖社区

原文始发于微信公众号(PPV课数据科学社区):了解人工智能之基础概念-基本概念问答

原创文章,作者:ppvke,如若转载,请注明出处:http://www.ppvke.com/archives/10324

联系我们

4000-51-9191

在线咨询:点击这里给我发消息

工作时间:周一至周五,9:30-18:30,节假日休息