(相关资料图)
金山办公与英伟达团队合作,通过英伟达Tensor Core GPU TensorRT提升图像文档识别与理解的推理效率,并借助英伟达Triton推理服务器的部署,成功优化GPU利用率,提供高推理吞吐量。同时,WPSAI在PPT中已支持输入主题,一键生成PPT演示文稿,并会如更改主题风格单页美化更改字体更改配色生成演讲稿等等。在PDF中,WPS展示了阅读分析和理解能力。WPSAI能够阅读包括论文合同课件等文档,用户以问答方式则可以获得关键信息。此外,用户能够通过手机等移动设备拍摄相关文档,而后WPS给出相关翻译概括分析等功能。
据介绍,金山办公与英伟达团队合作,通过英伟达Tensor Core GPU TensorRT提升图像文档识别与理解的推理效率;借助英伟达Triton推理服务器的部署,成功优化GPU利用率,提供高推理吞吐量。相比于CPU其pipeline耗时共下降84;采用英伟达Triton推理服务器部署,其部署成本节省了23。这意味着使用Tensor Core和Triton可以显著提高推理的效率和吞吐量,并降低成本。
关键词: