大数据与人工智能有什么关系呢?AI本身就是一种大数据的应用,特别是在对于AI系统进行训练的时候,使用的数据越多,AI系统就越先进。也就是说对于人工智能系统进行训练使用的数据量越大,数据质量越好,人工智能系统的质量就越高,从这个意义上来说AI本身也是一种大数据应用。
机器学习是人工智能的子集,深度学习是机器学习的子集,但是深度学习的影响是最大的,比如图像识别、语音识别、语义识别。
常用框架:
1. Scikit-Learn: 基于 Python 语言的机器学习工具, 该算法库显得较为保守。这主要体现在两个方面:一是Scikit-learn从来不做除机器学习领域之外的其他扩展,二是Scikit-learn从来不采用未经广泛验证的算法。
2. Tensorflow: 适合所有人的开放源代码机器学习框架。是一个开放源代码软件库,用于进行高性能数值计算。借助其灵活的架构,可以轻松地将计算工作部署到多种平台(CPU、GPU、TPU)和设备上(桌面设备、服务器集群、移动设备、边缘设备等)。可为机器学习和深度学习提供强力支持,并且其灵活的数值计算核心广泛应用于许多其他科学领域。
3. Caffe(Convolutional Architecture for Fast Feature Embedding):是一种常用的深度学习框架,主要应用在视频、图像处理方面的应用上。既可以在CPU上运行也可以在GPU上运行,并提供了一个完整的工具包,用来训练、测试、微调和部署模型。
4. CNTK:Microsoft 计算网络工具包 (CNTK) 是一个非常强大的命令行系统,可以创建神经网络预测系统。其真正用途在于与深度神经网络(具有两个或多个隐藏层,且节点之间可能存在复杂连接的网络)协同工作。
5.Keras:是一个用 Python 编写的高级神经网络 API,它能够以TensorFlow,CNTK, 或者Theano作为后端运行。Keras 的开发重点是支持快速的实验。遵循减少认知困难的最佳实践,提供一致且简单的 API,它将常见用例所需的用户操作数量降至最低,并且在用户错误时提供清晰和可操作的反馈。Keras API 可以与 TensorFlow 工作流无缝集成。
6. PyTorch:是一个基于Python的深度学习平台,其前身是Torch。其简单易用上手快并且功能强大,从计算机视觉、自然语言处理再到深度强化学习功能等。
7. Paddlepaddle(PArallel Distributed Deep Learning):是百度旗下一个易用、高效、灵活、可扩展的深度学习框架,兼容多种异构硬件,具有优异的训练&预测性能,官方支持多种领先模型,提供全流程的深度学习模块和组件,覆盖图像分类、个性化推荐、机器翻译等多个深度领域。