OpenVINO原理
Openview
工具包里主要分为三个部分,右上方可以看到传统的电脑视觉库,包含Intel优化过的OpenCV、OpenVX、Samples,可以在推论过程中前处理以及后处理时加速运算。右下方的其它工具集和库。左半边是OpenVINO深度学习推论的核心,即Intel® Deep Learning Deployment Toolkit。OpenVICO除了针对各个深度学习训练好的公开模型之外,针对各种不同的应用,Intel也提供了自行训练的模型,比如行为、表情,及物件侦测等等。
Intel® Deep Learning Deployment Toolkit
Model Optimizer可以把它想象为翻译机。它能够接收时下最热门的深度学习框架所训练好的模型作为输入,将它做初步的模型优化,并翻译为Inference Engine所能认得的格式,称作Intermediate Representation ,简称IR。Inference Engine利用IR档案获取模型的拓扑及权值,进而将资料送进开发者指定的硬件进行运算。开发者能够利用IE所提供的Common API选择使用C++ / Python进行开发,并且仅需要要简单的程序修改就能将所要执行的运算传送到不同的硬件做处理,轻松的达到程序代码重复应用,以及避免维护多套不同的程序。
Intel-Optimized OpenCV* and OpenVX*
OpenCV和OpenVX在OpenVINO的工具包里都已经优化在Intel平台上,拥有最佳的效能。并且提供了数个范例,让学员们能够参考及快速的评估。
Architecture
Inference Engine提供了单一的Common API给开发者,抽象化了底下的硬件,达到开发一次即可部署到不同硬件上的强大功能。
如图可以看到不同的硬件搭配了不同的插件来实现这个功能。这复杂的实现及优化开发者需不需要操心的,可以把心思放在怎么训练模型和应用。因为这样的设计, Inference Engine提供了另一个功能,开发者能够排序执行运算的硬件,当排序较高的硬件无法执行时, Inference Engine会自动分派运算到第二顺序的硬件做处理。同时, Inference Engine提供了非同步运算方式,让开发者能够在硬件忙碌做推论时,让另一个硬件将下一帧的图片载入并解码。此外,在未来产品规划及衔接,OpenVINO会支援Intel的新产品,未来可以轻松移植到新的平台,享受新科技所带来的效能提升。
OpenVINO安装本地安装
浏览https://software.intel.com/en-us/openvino-toolkit并注册后即可免费下载使用。
腾讯云安装-创建实例
- 在腾讯云市场找到Intel OpenVINO产业互联网学堂版
- 点击购买,跳转到云服务器购买流程,选择“计费模式,地域与机型”
- 此处已经默认选中之前浏览的镜像商品,直接进入下一步
- 设置主机,如实例名称,登入帐号及密码等等
腾讯云安装 - OpenVINO
- 在已创建实例中点选登录,在跳出新网页后,输入之前设置好的账号密码,登录到机器中
- 在登录的机器里运行 jupyter notebook –ip=0.0.0.0,执行完后会看到运行jupyter notebook已被执行完成的相关讯息。复制下token=后的序号,序号将在后续运行jupyter notebook网页连接时会被用到
- 找到远端机器所拥有的公开网址,在浏览器进入公开网址。浏览器中打开 <公网IP>:8888/
- 用token登录
- 打开Downloads/classification.ipynb就能图像分类的实践课程
- 通过Jupyter Notebook 进行安装
前半部的部分就是说明如何在腾讯云镜像上OpenVINO工具包。安装有问题或者安装后想要知道更多细节,可以至文件资料夹查找或到线上文档查找https://docs.openvinotoolkit.org/。
OpenVINO应用语音辨识
通过本地浏览器连接Jupyter Notebook后,开启SpeechRecognition档案就能看到了如图所示画面。