首页 > 行业新闻

网站搜索要等十几秒非常慢,是数据库扛不住还是服务器不够

先说结论:站内搜索慢到十几秒,八成不是服务器不够,是查询方式不对。数据库做模糊匹配的时候没法用索引,只能一行一行比;一次搜索要跨十几个字段,等于在一张大表上翻十几遍。这种情况下加 CPU 和内存,只是让这十几遍翻得快一点,翻的动作没变。

所以排查顺序应该是:先看查询扫了几个字段,再看数据量到了哪一档,最后才看这台机器还在干什么。三件事查完,该加机器还是该换检索方式,账就清楚了。

一、先看一次搜索扫了几个字段

站内搜索的写法通常是这样的:用户输入一个词,系统拿这个词去匹配标题、产品名、编号、品牌、规格、描述等若干个字段,任意一个命中就算结果。这种需求的自然写法就是LIKE '%关键词%',或者十几个字段之间用 OR 连起来。

问题在于,LIKE '%词%' 前面带通配符,索引完全用不上。数据库只能把表从头扫到尾,逐行做字符串比对。一个字段扫一遍,十几个字段就是十几遍。数据有 400 万条,一次搜索的比对次数就是几千万次。

判断方法很直接:把搜索用的 SQL 打出来看一眼。只要出现字段前缀通配的 LIKE,或者十几个字段 OR 在一起,慢的原因基本就定了,和服务器配置关系不大。

有人会想到用数据库自带的全文索引。这条路能走通,但门槛在细节上:中文分词要单独配,多数数据库默认不按中文词切;匹配规则也比搜索引擎粗,同义词、拼写容错、字段权重这些都得自己补。数据量小的时候够用,字段一多就开始别扭。

二、数据量到了哪一档

数据库不是一到百万条就不能用,但有几个档位的手感差别很明显:

数据量数据库直查的表现常见处理
十万级以内全表扫也很快,通常几百毫秒加合适的索引就够,不必动架构
几十万到百万单字段查询还行,多字段模糊开始明显拖慢优化 SQL、减少匹配字段、考虑全文索引
百万以上多字段模糊查询容易到秒级甚至十秒级把检索拆成独立检索层,数据库专心存数据

这张表只是量级参考,不是硬标准。同样是 300 万条,只按订单号精确查,和按十几个字段模糊查,差别可能是几十倍。所以别照搬别人的数字,用自己的数据量和自己的关键词跑一遍才作数。

三、这台机器还在干什么

很多站点的问题不在查询本身,在于一台服务器同时干了四件事:渲染页面、处理后台上传、跑站内检索、应付外部抓取。

检索是这四件事里最吃资源的:一次查询要占住 CPU 和内存几秒不放,并发一上来就排队。同一台机器上,检索把资源占满,页面就打不开;页面访问高峰时,检索又变慢。这种互相拖累,光看单次查询耗时是看不出来的,要看高峰时段的整体表现。

外部抓取这一项容易被忽略。搜索引擎和各家 AI 爬虫抓取频率不低,一个收录量大的站,日志一天几十 G 很常见。这些请求本身不生成内容,但都要走一遍页面渲染和数据库连接。日志文件本身不是带宽,但它说明请求条数有多密。

怎么确认是资源争抢

看服务器面板的 CPU 与内存曲线,对照检索慢的时间点。如果慢的时刻正好是访问高峰或整点抓取高峰,问题更可能是资源争抢,而不是查询本身写错了。反过来,如果凌晨没人访问时搜索依然慢,那就是查询方式的问题。

四、该上 Elasticsearch 的四个信号

Elasticsearch 解决的核心问题只有一个:把「逐行比对」换成「按词找文档」。它先把数据建成倒排索引,查询时按词直接定位到包含这个词的文档,不用扫全表。数据量越大、字段越多,这个差别越明显。

但不是所有站都值得上。出现下面四条里的三条以上,再考虑:

  • 数据量在百万级以上,且还在持续增长

  • 一次搜索要跨十个以上字段匹配

  • 需要模糊匹配、同义词、拼写容错、按相关度排序

  • 数据库的 CPU 长期被检索占着,影响页面访问

五、不用上 ES 的三种情况

这一段比上一段更重要,因为选错方向的代价是长期的维护成本。

  • 数据量在几十万以内,查询字段少。加一个合适的索引,或者用数据库自带的全文索引,几百毫秒能解决的问题,没必要引入一套新系统。

  • 数据每天频繁变更,但没有可靠的同步机制。ES 里的数据是从数据库同步过来的副本,同步一旦出问题,就会出现搜不到或搜出旧内容。没有精力维护同步,检索层反而成了新的故障源。

  • 搜索只是站内的次要功能。如果站内搜索的访问量占比很低,投入一套检索系统的收益有限,先把页面和内容做好更划算。

判断标准落在成本上,不在「ES 更先进」:查询方式带来的成本,是不是已经超过多维护一套系统的成本。前者是可算的性能账,后者是长期的人力账,两边都要算。

六、一个真实对照:400 多万条数据、十几个字段

2025 年 10 月我们接了一个站,产品与内容数据 400 多万条,站内搜索要跨十几个字段匹配,从产品名、编号到品牌、规格都在查询范围内,客户反馈一次搜索要等十几秒。

处理顺序和上面说的一样:先在测试环境搭两套方案,用客户提供的 200 个关键词做样本,同一台测试机器、同一套网络环境、同一批关键词各跑一遍,再定路线。最后定的是 ES,把数据建成索引,查询按词定位。

结果是:原来的数据库直查,一次要 10 到 20 秒才出结果;检索搬到独立的 ES 服务器后,查询本身在 1000 毫秒内返回。这两个数不是同一口径。10 到 20 秒是用户端拿到结果的时间,算上了页面渲染;1000 毫秒是 ES 服务器上查询的耗时,不含渲染。真实响应要把页面渲染和网络时间加回来,会比 1000 毫秒长,具体取决于页面复杂度。

1000 毫秒这个数要和前面那张表一起看。十万级数据量下,数据库加个合适索引就是几百毫秒,ES 并不会更快,反而多一套同步要维护,这也是第五节说数据量小别急着上的原因。它的价值要到 400 万条、十几个字段、还要模糊匹配的时候才显出来:数据库那边是同一条 SQL 把整张表翻一遍,耗时跟着总行数涨;ES 建了索引,耗时跟着命中的词走,不跟表的总行数走。数据再翻一倍,前者继续变慢,后者基本不动。判断该不该上,看的不是能不能压到几百毫秒,是数据继续涨还撑不撑得住。

四个前提没变:合同约定的测试环境、同一台机器、同一套网络、同一批 200 个关键词。它说明的是两套方案在同等条件下的差距,不是线上实测,也不能当成对外承诺。

为什么不是给主站加配置。检索慢,最直接的想法是把主站那台机器升级,CPU 和内存一起加。但主站同时跑页面渲染、后台上传、数据库和外部抓取,检索只是其中一项。为了检索把整机升上去,等于让页面和抓取一起搭车花这笔钱,数据再涨一档又得再加。单独加一台只干检索的机器,成本按检索这一个需求算,主站那台继续按原来的负载走,账更好算。这是这类项目里独立部署比整机升配更常见的原因。

这个站回头看,第四节那四个信号里中了三条:数据量过百万且还在涨、一次搜索跨十几个字段、数据库的 CPU 长期被检索占着。第五节那三种不用上 ES 的情况一条都不成立:数据量早过了几十万,检索是站内的主要入口而不是次要功能,同步机制在立项时就一并定下来。该上的条件成立、不该上的条件都不占,才轮到谈方案。

部署上也没有把 ES 和主站放在一台机器。检索单独一台服务器,主站后端通过内网地址调用,ES 不对公网开放端口。这样主站那台机器不用为了检索持续升配,检索故障也不会直接拖垮页面。代价是多一台机器要维护,多一层内网配置和监控,出问题时排查链路长了一环。

同步这一段不能省。ES 里放的是索引副本,产品数据新增、修改、删除都要跟着变,漏了就出现搜不到或者搜出旧内容。这个站的检索层用的是启凡自研的《Elasticsearch 企业级产品搜索与数据同步系统》,同步是系统里的一部分,不是另外拿脚本拼起来的。上线前的顺序是先建索引再切检索入口,切完要有个地方能看出索引和库差了多少,否则同步坏了没人知道。这也是第五节把「没有可靠同步机制」列为不该上 ES 的原因。

这个项目的完整信息(客户、范围、合同动作清单、验收边界、可核验凭证)在案例页,本文只拿它当一组带条件的对照数据。

七、动手之前先做这四件事

  1. 把慢的 SQL 拿出来。看有没有前缀通配的 LIKE,有没有十几个字段 OR。这一步基本能定性。

  2. 用真实数据量和真实关键词测。别用几十条样例数据测,那种结果没有参考价值。样本词要覆盖用户真实会搜的说法。

  3. 分开测「查询慢」和「机器忙」。低峰期单独测一次查询耗时,高峰期再测一次,两次对比就能分清原因。

  4. 把同步成本算进去。如果决定上检索层,先想清楚数据怎么同步、谁维护、出问题怎么发现。这部分工作量常常被低估。

这四件事做完,再谈要不要换架构、要不要加机器,比直接报一个「升级方案」靠谱得多。省下来的钱和后面省下来的维护时间,通常比一次配置升级更值。

常见问题

Elasticsearch 能替代数据库吗?

不能替代,它是检索层不是数据库。数据仍然以数据库为准,ES 里放的是给检索用的索引副本。这样做的代价是多一套同步:数据新增、修改、删除都要同步到索引里,同步漏了就会出现搜不到或搜出旧内容。所以上 ES 之前要先想清楚同步怎么维护,而不是只算查询快了多少。

数据量到多少才需要用 ES?

没有统一阈值,看三个变量:单表数据量、每次查询要匹配几个字段、允许的响应时间。几十万条数据、只按一个编号精确查,数据库加索引完全够用;数据到百万级、每次要在十几个字段上做模糊匹配,数据库就开始吃力。判断方法是拿真实数据量和真实关键词跑一遍,看慢在数据库还是慢在机器。

ES 一定要单独一台服务器吗?

不是必须。数据量不大、查询不重的时候,和应用装在同一台机器上也能跑。但 ES 占内存和磁盘,页面渲染、后台管理、数据导入又都在抢同一份资源,一旦查询变重就会互相拖累。单独部署的好处是资源隔离、故障面小,坏处是多一台机器、多一层内网配置和同步维护,得按实际负载算账。

← 返回列表