全球运营商主推5G厘米波技术
|
深度压缩过程图。在此图中，"老师"是经过训练的卷积神经网络模型。教师的任务是将其"知识"转移到参数较少的较小卷积网络模型中，即"学生"。此过程称为知识提取，用于将相同的知识包含在较小的网络中，从而提供了一种压缩网络的方式，以便可以将其用于更多受内存限制的设备上。 在此图中，"老师"是训练有素的神经网络模型。教师的任务是将其"知识"转移到参数较少的较小的网络模型中，即"学生"。此过程用于将相同的知识包含在较小的网络中，从而提供一种压缩知识表示的方式，从而压缩神经网络的大小，以便可以将其用于更多受内存限制的设备。
同样，修剪可以帮助使模型的表示更加紧凑。广义上讲，修剪尝试删除对输出预测几乎没有用的神经元。这通常与较小的神经权重相关联，而由于在推理过程中它们的重要性较高，因此会保留较大的权重。然后在修剪后的体系结构上对网络进行再培训，以微调输出。 模型蒸馏 训练后，然后以创建具有更紧凑表示形式的模型的方式更改模型。修剪和知识蒸馏是用于此目的的两种此类技术。 知识提炼的基础思想是，较大的网络内部具有稀疏性或冗余性。虽然大型网络具有较高的表示能力，但如果网络容量未达到饱和，则可以在具有较低表示能力的较小网络(即较少的神经元)中进行表示。Hinton等，2015将教师模型中嵌入的信息称为"黑暗知识"，转移给学生模型。
下图说明了知识提炼的过程。 这些电路消耗的功率仅为1 mW，使用标准CR2032电池可供电长达一年。 看起来好像不对，但这很重要。能量是许多电子设备的限制因素。任何需要主电源的设备都限于带有布线的位置，当同一位置有十几个设备时，这些位置很快就会变得不堪重负。市电也效率低下且价格昂贵。将电源电压(在美国大约为120 V)转换为典型的电路电压范围(通常约为5 V)会浪费大量能量。拥有笔记本电脑充电器的任何人在拔出充电器时都可能知道这一点。充电器内部变压器产生的热量在电压转换过程中被浪费掉了能量。 即使是带电池的设备，电池寿命也有限，因此需要频繁对接。许多消费类设备的设计使电池可持续使用一个工作日。TinyML设备可以使用硬币大小的电池继续运行一年，这意味着它们可以放置在偏远的环境中，仅在必要时进行通信以节省能源。 唤醒词并不是我们看到的无缝嵌入在智能手机中的唯一TinyML。加速度计数据用于确定是否有人刚拿起电话，这会唤醒CPU并打开屏幕。 显然，这些并不是TinyML的唯一可能应用。实际上，TinyML为企业和业余爱好者提供了许多令人兴奋的机会，以生产更智能的IoT设备。在当今世界，数据变得越来越重要的情况下，将机器学习资源分配到偏远地区受内存限制的设备的能力可能会给农业，天气预报或地震等数据密集型行业带来巨大好处。 毫无疑问，赋予边缘设备执行数据驱动的处理能力的能力将为工业过程带来范式转变。举例来说，能够监测农作物并在检测到诸如土壤湿度，特定气体(例如苹果成熟时会散发出乙烷)等特征或特定大气条件(例如大风，低温或高湿度)，将大大促进作物生长并因此提高作物产量。 作为另一个示例，智能门铃可能装有摄像头，该摄像头可以使用面部识别来确定谁在场。这可以用于安全目的，甚至可以用于当有人在场时将门铃的摄像头馈送到房屋中的电视，以便居民知道谁在门口。 目前，tinyML的两个主要重点领域是：
下面显示了TinyML当前机器学习用例的更广泛概述。 （编辑：阿坝站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
