经常被问「国内模型到底差多少」。诚实的回答是:在通用任务上差距已经收窄到可以用「各有胜负」来描述;但在工程落地上,国内与海外接口的差别非常具体,而且每一条都会影响你的上线时间。
海外接口(OpenAI、Anthropic、Google)在国内直连普遍不稳定,表现为:TLS 握手超时、长连接被中断、流式输出中途断流。这不是「偶尔慢」,而是会在生产环境里稳定复现的故障模式。
如果业务必须用海外接口,工程上要做三件事:
[DONE],要按失败处理并重试。国内面向公众提供生成式 AI 服务,需要在属地做备案或登记;使用境外模型服务向境内公众提供内容,在实操上存在明确障碍。这不是技术问题,是准入问题。
| 场景 | 国内接口 | 海外接口 |
|---|---|---|
| 内部工具 / 员工使用 | 基本无额外要求 | 需评估数据出境 |
| 面向公众的 C 端产品 | 需完成备案/登记 + 内容审核 | 通常不可行 |
| B 端交付给客户 | 按客户合规要求提供材料 | 客户多半不接受 |
| 纯研究 / 离线批处理 | 无 | 注意数据来源合法性 |
国内按人民币、可开增值税发票、可走对公;海外按美元、需要国际信用卡、汇率波动会影响预算。对大企业采购来说,这一条的权重往往高于模型能力。
另外注意计费单位差异:文本按 token、语音按字符或秒、图片按张或按像素档、视频按秒。跨模态做预算时不能直接用「tokens」一个口径。
海外厂商的 SDK 覆盖更全(Python / Node / Go / Java / PHP),示例代码质量高,社区问答多;国内厂商近两年进步很快,但仍有几个高频问题:文档版本混杂(新旧接口并存)、错误码说明简略、SDK 更新滞后于接口。
给一个在成本与风险之间比较平衡的结构:
| 层 | 承担什么 | 选型思路 |
|---|---|---|
| 主力层 | 80% 的常规流量 | 国内低价主力档,单价低、延迟低、合规无碍 |
| 增强层 | 15% 的难样本 | 国产旗舰或海外强模型,按需路由 |
| 兜底层 | 故障时的降级 | 与主力层不同厂商,协议兼容,切换只改配置 |
| 专用层 | 多模态/语音/向量 | 按能力单点选,不必与主力同厂 |
这个结构的关键是所有层都走 OpenAI 兼容协议。这样「换供应商」是一次配置变更,而不是一次重构。具体怎么落地,见接入实战里的「自建 AI 网关」一篇。