AI/AR 能力简介
收藏
我的收藏

目前有很多开发者在小程序中使用 TensorFlowJS 为小程序添加了运行 AI/AR 应用的能力。由于 JavaScript 性能的局限性,很多场景下 TensorFlowJS 并不能提供很好的体验。为了提升小程序场景下 AI/AR 应用的体验,我们为开发者提供了多种多样的 AI/AR 能力。​

算法管理器方案​

算法管理器方案允许开发者通过算法名创建指定的算法管理器,并使用该管理器进行对应的算法运算。在该方案中,开发者无需关心算法的实现细节,仅需传入算法名即可进行相应的运算,开箱即用,可以大大降低算法接入成本。同时,该方案中算法运行在原生层中,运行效率高。​

特效贴纸方案​

特效贴纸方案允许开发者直接使用抖音拍摄页中的贴纸。在该方案中,开发者仅需传入贴纸的 ID 就可以得到对应贴纸的拍摄效果,无需关心绘制过程,接入成本和接入一个相机组件完全相同,使用非常方便。​

原生神经网络方案​

原生神经网络方案允许开发者复用已有的模型。对于正在使用 TensorFlowJS 方案的开发者,原生神经网络方案允许开发者直接将已有模型转换为原生模型,并运行在原生后端上。同时,输入的大小、通道转换也在原生层中完成,并且突破了 TensorFlowJS 单线程的限制,整个推理过程耗时仅为 TensorFlowJS 的 30%,性能优异。​