随着腾讯微信的助力发展，微信搜索也成为其越来越重要的腾讯功能，这个功能可以用来搜索微信内部的加速k频道视频网址kpd永不失效账号、信息，微信以及搜索互联网上的搜索内容。微信搜索月活跃用户数量达到五亿以上。助力搜索业务当中使用了大量的腾讯神经网络模型，包括自然语言理解、加速匹配排序等等，微信这些模型的搜索k频道视频网址kpd永不失效训练和推理都大量依赖于NVIDIA GPU，尤其在推理方面，助力NVIDIA GPU及相应的腾讯解决方案都满足了业务所需的延迟和吞吐要求。
微信搜索业务由多个子模块构成，加速包括查询理解、微信匹配、搜索搜索排序等等。由于搜索的业务特点，这些任务对线上服务的延迟和吞吐都十分敏感。然而在最近几年，随着算力的提升以及算法的创新，很多大型复杂的神经网络模型开始应用在这些任务上，比如BERT/Transformer等模型。
这些大模型需要的计算资源和业务上的高要求对推理端的软硬件都是很大的挑战，必须针对具体的硬件做极致的优化。而且对于大模型的推理，很多技术被探索、应用在这些场景上以便实现性能加速、节约资源，比如模型压缩、剪枝、低精度计算等。这些技术可能会带来精度下降等负面影响，限制了这些技术的广泛应用。因此，如何在保证精度效果以及服务吞吐延迟需求的情况下，高效地对这些模型进行推理成为了业务上的巨大挑战。NVIDIA GPU以及NVIDIATensorRT给这一场景提供了解决方案。
为了满足线上服务的需求，并且尽可能地节约成本，微信搜索选择使用NVIDIA T4 GPU以及TensorRT推理引擎来进行线上大模型的推理。
线上服务对于吞吐和延迟有很高的要求，微信搜索选择使用NVIDIA T4 GPU以及TensorRT推理引擎来做线上推理服务，利用NVIDIA基于TensorRT开源的BERT实现，可以很方便地在FP16精度下实现满足需求的线上推理功能。这个方案在线上取得了很好的效果。
在此基础上，微信搜索希望进一步加快推理速度，节约计算资源，以便更好地服务用户，节约成本。低精度推理成为了很好的选择。NVIDIA GPU从图灵（Turing）架构开始就有了INT8 Tensor Core，其计算吞吐量最高可达FP16精度的2倍。同时低精度推理跟其他的优化方法也是正交的，可以同时使用其他技术比如剪枝、蒸馏等做进一步提升。微信搜索线上大量使用NVIDIA T4 GPU，非常适合使用INT8推理。而且TensorRT对INT8推理也有良好的支持。利用TensorRT的“校准”（Calibration）功能，能够方便地将Float精度模型转换为INT8低精度模型，实现低精度推理。通过低精度推理，模型的单次推理时间大大缩短。
通过“校准”来做模型转换已经在很多计算机视觉模型上被验证是十分有效的，并且其精度和推理性能都十分优秀。然而对于像BERT一类的模型， “校准” 无法使得精度和性能都完全令人满意。因此，腾讯搜索使用了NVIDIA开发的基于PyTorch/TensorFlow的量化工具进行基于知识蒸馏的量化感知训练（Quantization Aware Training）克服精度下降的问题。TensorRT对于导入量化感知训练好的模型进行INT8低精度推理有着很好的支持。导入这样的模型，不仅得到了最佳性能，而且精度没有损失，线上服务只需更换TensorRT构建好的引擎即可，极大地简化了部署的流程。通过这样的方案，微信搜索中的一些关键任务，比如查询理解等自然语言理解任务，可以在精度没有损失的情况下，达到2-10倍的加速效果，平均单句推理时间达到了0.1ms。任务相应的计算资源节省了约70%。这个方案大大优化了微信搜索业务的性能，降低了部署成本。
使用NVIDIA T4 GPU以及TensorRT推理引擎进行INT8低精度推理，极大提升了微信搜索的速度，进一步提升了用户体验，节约了公司成本。
*本文来源于NVIDIA英伟达
相关文章：
暧暧免费1000部yase999最新网址1000个禁止视频8小8x人成导航5x视频5xsq66luluhei改啥网址了5g院视天天爽成人k频道网址导航最新mini9秘密入口大象2023秘密入口免费看5xx兴趣社区gv在线看免费观看网址赤兔5g天天5g永久免费1769资源最稳定网址艾杏hd官方网址在线观看lutube在线网址入口甸伊圆自动转入5x社区在线看视频地址gva免费视频播放网址5x兴趣社区免费91成品短视频茄子成品片a免费入口直接进入yw55523优物入口甸伊园免费2023直达入口k频道直播间2站网址入口5x社区费视频5xso5xsq5在线视频免费视频点击从此进入伊甸5x社区免费观看视频5xsp1000部未成年禁止进入91官网网址大象dxdztop回家导航入口插槽8x插槽视频在线观看5g年龄确认海外入口成品网站直接进入5x发源地 打造社区4x4x4x人成免费观看ly8me最新网址岛搬运工最新网址387uu最新网址62papa最新网址包多多官网入口k频道kpd45网址在线播放bytv备用网址甸伊园2023直达入口音响2023网址拿走不谢5xsq社区免费视频在线播放5x一5x视频在线5xsq91海外域名紧急转跳入口eee306换到哪个网址了67194短视频发布网址爱爱小视频1000部免费草莓无线在线观看网页版5x小视频免费发源地91vt入口73aaa换成什么网址了分享你懂2023资源网址成品视频入口plornhub官方网址不用播放器的日韩网址浮力网址永久1000部拍拍无挡免费视频大秀直播app网址链接xrk视频的最新网址18禁止观看1000部免费k频道网址入口最新884aa变什么网址了k频道宅男网址导航橙子视频网站版网址成品在线视频免费入口粉色拔x拔x8x81000部视频大片网址谁知道你懂得fulao2最新网址论坛5xxq在线播放5xsq新发源地5xs5x社区打造不一样的视觉a樱花福精品利院yy入口7x7x7x7x任噪水蜜桃5x社区5x在线视频免费富二代在线网址大全18x8x8x人成免费观小说7x7x7x7x7x7x任你噪5x兴趣社区在线视频1769资源站最新网址1000部最长最刺激的视频365每日更新最新网址7x7x7x7x任意槽导航网址kpd900pw5xsq在线视频免费视频508hh换成什么网址了大象伊甸院秘密通道7w7w7w乳液福利院私人入口伊甸网址99rr热网址最新获取1000个免费高清小视频7x7x7x7x任你燥免费阅读91w乳液78wyw安子轩热一二三四网址1000禁大片免费播放器52abab现在的网址7x7x7x任意燥cjwi1000部拍拍拍视频大全heiheilu最新观看网址大象成人秘密入口3344hc改了网址5x社区视觉上的体验成品视频观看入口18成app短视频无限看k频道网址导航中心kk4444换哪个网址了成品大香伊煮蕉小辣板在线观看5x社区免费起视频7x7x7x乳液5x打造世界流行发源地视频61成品视频入口腐次元官网网址ss52ss最新网址在线观看a樱花动漫福利院入口7x7x7x水蜜桃5x社区新视频免费观看67194成发网址发布页adc最新进入网址大象永久伊园甸2023橙子视频网站版网址爱情论坛岛网址x7x7x7x7x7x7水蜜桃3d彩漫做韵律的雅卿成年网最新的网站网址岛搬运工最新网址大片在线观看网址147zzz换成什么网址了百娘导航app官方入口刺激鲁视频24小时网址1000部免费拍拍拍5g天天看5g天天嗨5gh综合导航网址网站大全成品大香伊煮香小辣椒aaa444新地址网址5x社区免费线视频进入3344tt最新网址5x社区线视频5xsq进入福利院伊园甸成年入口无限观看爱矢峰子息子寝取成品大香伊煮焦和小辣椒dxj1000国产片免费爱琴岛论坛独家提供网址b站在线观看人数在哪藏经阁17安全入口无病毒小说成品片a免费入口直接看u罗汉要强的今日子大片免费观看网址1000拍拍拍兔费视频成品精品伊园甸1688999资源站最稳定的网址导航在线网址大象永久伊园甸每日更新5x社区最新版91网址入口传媒果冻国产入口52kkm官方网址health2官网网址5s11xyz在线观看91茄子成品短视频入口91爱拍原创视频网址51xp社区免费5xsq5x杜区在线视频5xsq2023网址懂得免费无毒5x发原地从这里开始5x社区视频免费视频5xsq5xs社区免费视频5xso大片在线观看网址1000个禁止看的大片橙子视频入口网址大象无人区区一区二100成品视频观看入口视频5xx兴趣社区plornhub官方网址5x视频在视频播放东方伊园甸2023入口直达入口5xsq在线视频免费视频高老庄在线视频网址工本口子库琉璃库卡尔豆豆去最新网址入口18勿看1000个视频视频大象国产大象传媒2023v片视频在线观看网址365资源站最稳定网址藩金莲传媒免费入口老夫子510dd网址最新域名给我一个网址你懂得2023都市荡月征艳录tx8kkk新网址7x7x7x乳液2023网址男人懂得1000禁止片免费视频沉迷美母柳淑云txt成品大香伊煮蕉小辣板在线观看5xsp在线视频5xsq838ee最新网址成品大香伊煮国色天香5x杜区打造视觉盛宴3atv国内能打开的网址5x社区在线观看叼嘿视频1000种免费15分钟1000部大片大象回家视频入口不迷路1000部拍拍拍免费视频国产5x在线视频手机版介绍富二代精品短视频在线网址藩金连传媒印象甸伊园2023直达入口音响91最新网址1000部免费坎禽兽级别第一站视频网址ss52ss最新网址在线观看4388x2最新网站网址草榴视频收藏网址5x兴趣社区手机进入大象传媒网站18入口67194免费发布网址春水堂视频网址3d母亲育子の失败05被欺负的孩子的母亲单行本ta888net备用网址点击从此进入伊甸51短视频app无限看福利云1000合集se短视频网址发布页1000种男女拍拍拍5x兴趣社区免费最新入口lutube官方网址9906a四虎在线观看网址点击从此进入伊甸778aa改成什么网址大象dx秘密入口大象51社区免费视频5xsq5xsq社区永久播放地址67194成发网址发布页1000部免费视频大全1000部辣妞儿风范18误入1769资源站最新网址k频道网址导航2023年网址pp628新网址在线高清视频在线观看网址2023谁有a网址片能用3344fg换成了什么网址不穿衣一对一直播5x社区免费视频从这里开始111we四虎最新网址获取tianlula换啥网址了5x打造世界流行发源地视频甸伊园免费观看番茄网址导航3d好漫漫破解在线看入口777777大象传媒视频入口5x视频免费视频发源地67194网址爱情岛5x少女免费视频播放器1000部拍拍拍18勿入辣妞范73aaa换成什么网址了不良研究所导航福利入口k频道全部网址导航2023在线观看懂的网址4虎永久海外地域网5xsq社区免费视频进入入口vr视频在线观看网址5x社区在线观看视频5x社区免费线播观看diy101hd在线网址5g在线视讯确认免费观看藩金连传谋映画m3u8成app短视频无限看3344nn改成什么网址了4kfuli最新网址7x7x7x7x任意燥2023成品网站灬伊甸院95午夜1000免费观看5x最新地址k视频国产频道网址5x社区免费入口沉迷美母柳淑云免费ysl蜜桃86大象dx视频回家入口10禁136导航网址导航51天美丶密桃丶果冻入口my请牢记点击进入5x社区视频新地址300迷妹收藏网址办卡主播asmr免费网址5g天天爽天天5g300迷妹收藏网址成品大香伊煮蕉在线看911制片厂制作传媒视频5x社区sq在线视频最新gucci美国官网网址拨叉拨叉海外华为永久使用51x社区免费视频5xso2023年给个网址9912df最新网址点击进入甸伊园1000部很黄的大片18紧禁视频1000部视频大佬给个网址a站网址大全免费观看gv网站在线观看网址1000部拍拍拍免费网站51x社区免费视频5xsq福利院私人入囗伊甸大香伊煮蕉国色天香5x社区型视频免费播放动漫911成品视频入口lutube最新网址5xsq打造极品的视觉ae永久ae人口福利院私人入囗伊甸5x线视频新址10000000禁止观看app5x社5x社区视频新地址7x7x7x7x7x7x任你8x8x8x8人成免费观视频导航网址kpd900pw7x7x7x7x任意燥20235spx社区发源地打造yw53777龙物视频入口98精区国品一区91pom的新网址是2023在线观看的a站网址都市贵妇肥肉含龙抢2023v片视频在线观看网址61794网址在线观看5g年龄确认海外入口高清hd人成视频免费网址873kk改成那个网址抖音水蜜桃817的视频k视频网址大全导航7x7x7x7x7人成免费进入3d做韵律的林雅卿lulusir最新网址5x社区极品视觉盛宴999abab换什么网址了5x社区免费5xbv775x在线视频手机视频5x在线观看免费最新5x社区观看视频5xsq92午夜神器1000藩金莲传媒精品入口077491成品视频网页版18部看黄在线5g网站新入口susu77网址入口5xso在线视频新址藏经阁线路267194段视频网址发布页大象传媒18秘密入口50路母息子田舍ae永久ae人口岛国搬运最新网址大象成视人视频dx8823d韩漫免费首入口5xsq视频新地址5xsq50路母息子田舍91网址永久发布备用地址1和地址2地址三5x社区手机免费观看番茄网址导航藏经阁17安全入口255hh的新域名获取网址u罗汉狮子妈妈9u有你足矣已满18入口asmr国外直播网址s8app网址发布页235hk备用网址5x社5x社区视频新地址1000部未成年禁止5xx兴趣社高清视频4455pd新网址不良研究所导航福利入口4tube最新网址lutube最新网址发布网5g天天看5g天天爽大香伊煮蕉一人一煮一线青草5x社区视频新地址611aaa相关网址kk44kk升级网址7x7x7x任意燥cjwi999abab换什么网址了3d彩漫妈妈们的教育方式单行本1000在线集看5xsq最新视频新地址1000部男人的天堂试看成品大香伊煮蕉国色5x社区免费视频sq被爸爸c到崩溃2023网址给一个百娘导舫官方入口京东91成品视频入口在线5g天天5g天天爽5gye321资源另一个网址5x社区在线观看从这里开始se01短视频网址873kk改成那个网址993ff换了那个网址91最新网址jk成漫动漫入口8x8x8x8伊甸区人成夺母3d好漫漫98福利院体检67194app网址岛国精品合集1000部成品1688网站在线入口爱情岛独家线路提供网址大象香煮伊在人线国产动漫大象2023秘密入口实时查询扶老二fulao2在线网址浮力网址magnet成漫入口动漫66pepe网址最新更新18色禁用视频app入口成品在线免费视频入口1024网址导航入口5xvw88域名4455nn改成那个网址了成app视频i91入口u9社区有你有我足矣入口5g天天看5g天天爽拨叉拨叉海外华为永久使用成大香伊煮蕉小辣椒大象传媒视频dx7711xyz藩金莲传媒精品入口07742023在线观看网址点击从此进入伊甸selao在线网址a视频在线免播放观看网址5x社区免费线播观看成品短视频在线免费入口250pp最新网址在线观看5xsq最新免费视频进入otamart网址5x社区最新地址18自带纸巾成品动漫在线免费入口k频道网址kkpd白鸟寿美礼息子揉母母838ee网址怎么打不开了1000个禁片免费2023年不封号的网址导航网址kpd900pw8x8x8x人成免费观完整版成品片g免费入口sg111xyz免费网址1000部免费视频辣妞范2023最新在线观看网址995ccc最新网址622hh改成啥网址了1000种男女拍拍拍5xsp社区视频免费视频ぉ母さんの息子5c5c5c临时网址番茄网址ta99app91网站网址是多少成视频在线播放网址1000部拍拍拍18勿入辣范甸伊园研究院2023中文无字幕入口网站成年片免费网网址大全2023网址懂得免费v视界vsj2入口国产721re网址最新获取域名岛国动作片有哪些网址1000部未成年不能看的3000部十八末年免费芒果5xx兴趣社区4hutv开放青年永久免费5xsq社区在线观看视频隔壁老王网址在线播放刺激网站网址免费5x社区免费视频从这里开始1000集视频在线看插槽8x插槽视频在线观看大象秘密通道入口百媚导福航入口91富二代精品网址k视频网址导航5566app网址发布器92视频1000部在线播放5566精彩网址大全5566成品在线短视频免费入口99ee7网址最新获取100部深夜看e黄禁用免费72部母息子在线观看高老庄在线视频网址大象2023免费入口带好纸91爱拍原创视频网址5x视频免费观看视频18以内禁入1000部免费3344tt同样的网址1000部禽兽视频免费939w78w78w永久乳液91果冻星空天美