功能升级 · 2026-11-01

狗急加速器上线 AI 应用加速通道:大模型首字响应缩短 41%

AI 加速节点使用的 GPU 服务器机箱,对应大模型推理服务的跨境访问场景
AI 应用加速通道的最后一公里仍是推理集群:客户端能优化的是到达推理服务之前的每一段链路。(配图:Nvidia DGX front view, dllu,CC BY-SA 4.0)

2026 年 11 月 1 日,狗急加速器正式上线「AI 应用加速通道」(内部代号 AI Channel)。它不改变用户访问的目标站点,只为 AI 应用最典型的三类流量单独铺路:逐字返回的流式对话接口、需要长时间挂起的开发者 API 调用,以及动辄上百兆的模型文件与语料上传。灰度四周的成绩单是这样的:大模型对话首字响应中位数从 1.42 秒缩短到 0.84 秒(降幅 41%);流式输出中超过 800 毫秒的停顿出现率从 4.8% 降到 0.7%;200MB 文件上传成功率从 92.4% 提升到 99.6%。

这条通道的灵感,来自过去半年用户工单里最集中的抱怨。团队复盘了 2026 年 4 月至 9 月的 4.1 万条工单,与 AI 工具相关的占比从 6.8% 一路涨到 21.4%。被描述得最多的并不是"打不开",而是"打开了但一直在转圈""回答到一半卡住不动""上传附件老是失败"——这三句话背后其实是三种不同的链路问题,硬用一条通用线路去盖,总是差那么一点。

"通用线路优化的是吞吐和平均延迟,AI 应用在意的是第一个字什么时候出来、第一百个字会不会断。这两件事的优化目标不一样,混在一起做,两边都做不好。"—— 周叙,狗急加速器传输协议负责人

从一条工单说起:AI 应用为什么需要专属通道

先看传统网页的形状:一次访问拆成几十个互相独立的短请求,某个慢了、失败了,重试一次就过去,页面照常渲染。AI 对话完全是另一种形状——一次对话是一条长连接,服务端按 token 逐段推送,客户端边收边渲染;这条连接可能持续十几秒到几分钟,中间任何一次丢包或重传,用户看到的就是文字停住、光标闪烁。

开发者的 API 调用又不一样:批量任务一次挂起几十秒,返回结构化数据,对完整性要求极高,中途断流就得整段重跑;而单次请求报文很小,对首包时间极其敏感。第三类是上传:模型权重、数据集、图片素材,单个文件几十兆到几个 G,跨境链路的上行丢包比下行更常见,传统单流 TCP 一丢包就整体降速——用户感受到的就是"传到 80% 不动了"。

三类流量的需求彼此冲突:对话要低延迟的小包通道,API 要长连接不被打断,上传要上行吞吐与快速恢复。原来的智能选路引擎按"目标域名 + 实时质量"选线,对网页和视频都好用,但它不知道这条连接接下来要跑十几分钟、也不知道它只需要每秒几百字节的心跳。AI 通道做的第一件事,就是让客户端先判断流量类型,再决定用哪套传输参数。

让第一个字更快出现的三处改动

首字响应由四段组成:DNS 解析、TCP 与 TLS 握手、请求发出到服务端开始生成、第一段 token 回到客户端。跨境场景下前两段往往占去三分之一以上。第一处改动是"预热":客户端检测到用户打开 AI 应用后,提前与就近入口建立三条 TLS 1.3 连接并缓存会话票据,真正发请求时直接复用,省掉一次完整握手;DNS 侧改为本地缓存加预解析,常用域名在会话建立时就完成解析,TTL 内不再重复查询。

第二处改动是入口与出口分离。客户端就近接入本地入口节点,再由骨干网直达目标区域的出口节点,出口按目标服务所在区域固定选择,避免同一会话在多次请求之间来回漂移——通用线路的多出口策略在网页场景能摊平负载,但对 AI 对话来说,出口漂移会反复触发服务端的风控与区域校验,反而拖慢首包。

第三处改动在小包调度。请求报文通常只有几百字节到几 KB,却要和同一条链路上的大流量排队。AI 通道为这类会话分配独立发送队列并启用 pacing 平滑发送,让请求包不被批量数据堵住。灰度数据显示,仅这一项就把首字响应 P95 从 3.9 秒压到 1.7 秒;P50 的改善主要来自预热,两项叠加后落在 0.84 秒。

还有一个容易被忽略的细节:TLS 会话复用并不总生效。部分服务端在票据过期后强制完整握手,客户端会回落到一次 RTT 的完全握手;AI 通道在票据即将过期时提前续签,把回落控制在 2% 以内。在跨境链路上,少一次往返通常意味着 80 到 150 毫秒的差别。

长连接的敌人是丢包:保活与局部重传

流式输出的底座是 SSE 或 WebSocket 这样的长连接。跨境链路上,长连接面临两个具体威胁:一是中间设备的 NAT 映射超时(常见阈值 60 到 120 秒),超时就被静默回收;二是丢包触发的重传——传统 TCP 上它会连带阻塞后续所有字节,哪怕后面的字节早已到达,也必须等缺口补齐才能交付。

AI 通道把心跳间隔设为 25 秒,并在心跳包中携带轻量序号:既维持映射,也能在链路静默时快速发现中断。断开后不再"整段重连 + 重新生成",而是从客户端记录的最后一个完整 token 边界续接:重连时携带游标请求续传,服务端从该位置继续推送。灰度期间,单次会话的平均重连次数从 0.9 次降到 0.2 次,且每次重连后用户无需重复提问。

针对重传阻塞,通道在节点侧对小包流启用局部重传与前向纠错:丢包率低于 1% 不启用冗余,1% 至 3% 加 12% 冗余,3% 以上提升到 20%,且只对当前窗口内的小包生效,避免冗余流量摊满整条连接。在 2% 丢包的模拟环境里,流式输出的有效 token 速率提升 18%,超过 800 毫秒的停顿出现率从 4.8% 降到 0.7%;代价是约 4% 的额外上行带宽,在上行已经跑满时会自动关闭。

宽带接入机房中的光纤跳线与网络设备,对应 AI 应用加速通道的接入与骨干链路
入口就近接入、骨干直达、出口固定:AI 通道的三段链路各自由不同策略接管。(配图:North Central Telephone Cooperative Rural Broadband,美国农业部,公有领域)

灰度四周的成绩单与使用说明

灰度从 2026 年 9 月 20 日持续到 10 月 30 日,覆盖 18 座城市、12,480 个账号、约 34.7 万次 AI 会话。按城市中位数统计:首字响应 P50 从 1.42 秒降到 0.84 秒,P95 从 3.9 秒降到 1.7 秒;流式输出停顿出现率从 4.8% 降到 0.7%;200MB 文件上传成功率从 92.4% 升到 99.6%,平均耗时从 6 分 12 秒缩到 3 分 41 秒;开发者 API 调用的整段断流率从 2.3% 降到 0.4%。对照组用同一批账号在关闭通道后复测,各项指标回到灰度前水平,排除了季节与目标服务自身波动的干扰。

开通方式:更新到最新客户端后,AI 通道随 v4.4.1 推送默认生效,无需额外订阅;判定依据是目标域名是否属于已收录的 AI 应用与开发者接口列表,命中即自动切换 AI 传输参数,其余流量仍走原有线路。不需要的话,可在「设置 - 连接 - 流量类型」中关闭,关闭后完全回落通用加速逻辑,套餐权益不受影响。目前支持 Windows、macOS、Android 与 iOS,路由器固件下一版接入。

能力边界也要说清楚。通道不改变目标服务本身的可用性:目标服务在某地区不提供、或账号受区域限制时,加速器不会绕过这些限制,也不提供账号或代注册服务。对端限速与配额超限(如接口返回 429)属于业务层限流,与网络质量无关,通道无法改善。企业 MDM 限制代理、终端省电策略强制断网、或在加速器之上叠加全局代理的环境,通道同样无法生效。上传场景若本地宽带上行不足 20 Mbps,改善幅度会明显小于实测数据。

隐私边界与既有版本一致:客户端只记录域名、字节数与链路指标,不读取也不上传对话内容、请求体与文件内容;通道判定所需的域名列表保存在本地,命中计数做匿名化聚合,用于评估是否调整默认参数。相关开关与说明可在客户端「隐私」页查看。接下来,团队会把 AI 通道的传输参数开放为可调项,并评估把首字响应指标放进「网络体检」报告,让用户在同一个界面里看到链路与业务两层的表现。

上一篇狗急加速器 v4.4 发布:定时策略与无缝漫游,切网中断缩短至 0.3 秒

用户评论(8 条)

潘
潘亦舟

写代码的一天要调几十次接口,最烦的就是批量任务跑一半断了重来。这两周断流几乎绝迹,这个提升比降延迟实在多了。

温
温子衿

首字提速非常明显,以前问一句话要盯着屏幕等一秒多,现在回车一按字就出来了。

褚
褚云舒

读研的痛:300M 的数据集压缩包传三次失败三次。现在一次过,终于不用蹲在电脑前守着进度条了。

戚
戚明轩

建议把识别为 AI 应用的域名清单公布出来,有些小众工具没被命中,我还得手动改线路。

岳
岳清越

写长文档时输出到一半停住的情况确实少了,以前只能刷新重开,现在一路写到底。

齐
齐嘉树

公司电脑有 MDM 管控,通道开了也没用——这个可以理解,家里自己的机器效果很好。

柏
柏听澜

家里上行只有 15M,传大文件改善有限,看了说明才明白是本地带宽的锅,不怪加速器。

郁
郁南乔

隐私说明写得清楚:只记域名和字节数,不碰内容。对拿 AI 写东西的人来说这一点很关键。

让 AI 先出字,再谈速度

下载狗急加速器最新客户端,AI 应用加速通道自动生效,118 个全球加速节点即连即用。