1. 项目概述为什么我们需要一个“免费”的搜索API如果你正在开发一个需要从搜索引擎获取数据的应用比如舆情监控、价格追踪或者简单的信息聚合工具你可能会立刻想到调用搜索引擎的官方API。但现实往往很骨感要么API调用次数有限要么价格不菲要么功能受限。对于个人开发者、学生项目或者初创团队来说这第一道门槛就足以劝退。于是一个朴素的想法诞生了能不能模拟人的操作用浏览器去访问搜索引擎然后把结果“扒”下来自己封装成一个API服务这听起来像是“曲线救国”但在很多轻量级、非商业化的场景下它确实是一个低成本、高灵活性的解决方案。这就是我们今天要探究的核心利用Selenium这个老牌的浏览器自动化工具搭建一个属于自己的、免费的Web搜索API服务。Selenium本身是一个用于Web应用程序测试的工具但它强大的浏览器操控能力使其成为了自动化数据抓取的利器。通过它我们可以程序化地打开浏览器、输入关键词、点击搜索按钮、等待结果加载最后解析页面结构提取出我们需要的信息如标题、链接、摘要。整个过程完全模拟了真实用户的操作绕过了很多针对纯HTTP请求的反爬机制。这个项目的价值在于它不仅仅是一个技术实现更是一种解决问题的思路。它教会我们如何在资源有限的情况下利用现有工具组合出满足需求的服务。当然这条路并非坦途你会遇到动态加载、反爬策略、性能开销等一系列挑战但逐一攻克它们的过程正是技术成长的乐趣所在。2. 核心思路与技术选型为什么是SeleniumPytestFastAPI在决定用浏览器自动化来实现搜索之前我们需要先理清整个技术栈。一个稳定、可维护的服务不能只是写一个跑一次的脚本它需要具备模块化、可测试、易部署的特性。2.1 为什么选择Selenium而不是Requests/Scrapy这是最核心的选型问题。对于搜索引擎页面尤其是像百度、谷歌这样的现代网站直接使用requests或Scrapy发起HTTP请求来获取HTML成功率会越来越低。主要原因有三点JavaScript动态渲染搜索结果页的大量内容尤其是靠后的结果、相关搜索、知识卡片是通过JavaScript异步加载的。一个初始的HTTP请求拿到的HTML只是一个空壳真正的数据在你拿到文档时还不存在。反爬虫机制搜索引擎会检测请求头、访问频率、鼠标轨迹等非人类行为特征。简单的requests请求很容易被识别并封锁。验证码挑战频繁或异常的访问会触发验证码这是纯后端请求难以自动处理的。Selenium通过驱动一个真实的浏览器如Chrome、Firefox来工作浏览器会完整地执行页面中的所有JavaScript代码最终将完全渲染后的DOM呈现给我们。这完美解决了动态渲染问题。同时因为操作的是一个真实的浏览器实例其行为特征更接近真人对抗基础的反爬策略也更有效。注意Selenium并非银弹。高级的反爬系统依然可以通过检测WebDriver特征如navigator.webdriver属性来识别自动化脚本。这时就需要更进阶的配置来隐藏特征我们会在后续详细说明。2.2 辅助工具链Pytest与FastAPI确定了核心引擎后我们需要为它构建车身和控制系统。Pytest测试框架你可能会问为什么一个API服务要用测试框架这里的Pytest并非用于传统的单元测试而是作为流程编排和调度器。我们将每一个完整的搜索动作打开浏览器-输入-搜索-解析封装成一个fixture或一个函数。Pytest优秀的夹具fixture生命周期管理如scopesession用于复用浏览器实例、清晰的断言和日志输出能让我们的核心抓取逻辑结构清晰、易于调试和扩展。例如我们可以用pytest.mark.parametrize来方便地实现多关键词批量测试。FastAPIWeb框架这是对外提供API服务的部分。FastAPI以其高性能、易于使用和自动生成交互式API文档Swagger UI而闻名。我们将Selenium抓取逻辑封装成FastAPI的一个后台任务或依赖项当用户请求我们的API时触发这个抓取任务并将结果以JSON格式返回。FastAPI的异步支持也能更好地处理可能耗时的抓取请求避免阻塞。技术栈总结Selenium负责模拟用户操作并获取完整页面数据Pytest负责组织、管理和验证核心抓取流程的可靠性FastAPI负责对外提供标准、易用的HTTP API接口。三者各司其职构成了一个从底层操作到上层服务的完整链条。3. 环境搭建与核心组件详解工欲善其事必先利其器。在开始编码前我们需要把环境准备妥当并深入理解每个关键组件。3.1 Selenium环境精准配置Selenium的工作需要两个核心编程语言库和浏览器驱动。安装Python库使用pip安装即可。pip install selenium下载浏览器驱动这是最容易出错的一步。驱动版本必须与你的本地已安装的浏览器版本严格匹配。Chrome/Chromium访问 ChromeDriver官网 或使用国内镜像。查看你Chrome浏览器的版本在地址栏输入chrome://settings/help下载对应版本的chromedriver。Firefox下载 geckodriver 。将下载的驱动可执行文件如chromedriver.exe或geckodriver放在系统PATH路径下或者后续在代码中指定其绝对路径。关键启动配置绕过检测与优化性能直接使用Selenium打开的浏览器会被网站检测到自动化特征。我们需要通过Options添加参数来“隐身”。from selenium import webdriver from selenium.webdriver.chrome.options import Options def create_stealth_driver(): chrome_options Options() # 1. 核心隐身参数 chrome_options.add_argument(--disable-blink-featuresAutomationControlled) chrome_options.add_experimental_option(excludeSwitches, [enable-automation]) chrome_options.add_experimental_option(useAutomationExtension, False) # 2. 移除WebDriver特征关键步骤 chrome_options.add_argument(--disable-web-security) chrome_options.add_argument(--disable-dev-shm-usage) chrome_options.add_argument(--no-sandbox) # 仅在Linux Docker等环境需要 # 3. 无头模式与性能优化适用于服务器无界面环境 chrome_options.add_argument(--headless) # 不显示图形界面 chrome_options.add_argument(--disable-gpu) chrome_options.add_argument(--window-size1920,1080) # 设置窗口大小某些网站响应式布局需要 # 4. 创建驱动并执行CDP命令彻底隐藏webdriver属性 driver webdriver.Chrome(optionschrome_options) driver.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, { source: Object.defineProperty(navigator, webdriver, { get: () undefined }); window.chrome { runtime: {} }; // 模拟chrome对象 }) return driver这段配置是实战中的精华部分。--disable-blink-featuresAutomationControlled和CDP命令是隐藏自动化特征的关键。无头模式--headless在服务器部署时非常有用但调试阶段建议先关闭以便观察浏览器实际行为。3.2 页面解析利器XPath与CSS Selector拿到渲染后的页面下一步就是从复杂的HTML中精准提取我们需要的信息。这里主要依赖两种定位技术XPath一种在XML文档中查找信息的语言同样适用于HTML。它功能强大可以通过层级、属性、文本内容进行非常灵活的定位。示例获取所有搜索结果的标题链接//h3[contains(class, t)]/a优点灵活能处理复杂的定位逻辑如“查找某个div下的第二个span”。缺点表达式可能较长且如果页面结构变动脆弱的XPath容易失效。CSS Selector通常更简洁类似于前端开发中的CSS选择器。示例同上功能h3.t a优点写法简洁阅读直观性能通常优于复杂XPath。缺点在某些复杂层级关系定位上不如XPath直接。实操心得我的习惯是优先使用CSS Selector因为其简洁性和性能。只有在CSS无法轻松实现时例如需要根据文本内容定位或复杂的轴定位如following-sibling才使用XPath。在浏览器开发者工具中你可以直接右键元素选择“Copy - Copy selector”或“Copy - Copy XPath”来快速获取但绝不能直接信任自动生成的选择器。它们往往又长又脆弱包含大量动态ID或冗余层级。你需要手动分析页面结构编写尽可能简短、稳定、具有语义化的选择器。例如选择搜索结果容器应该找其独有的、稳定的class或id而不是一长串div div:nth-child(3) div a这样的路径。3.3 等待的艺术显式等待WebDriverWait在自动化操作中等待是保证脚本稳定性的最重要环节。绝对不能使用time.sleep(固定秒数)这种“硬等待”效率低下且不可靠。必须使用显式等待Explicit Wait。它告诉Selenium在抛出异常之前最多等待一段时间期间会不断检查某个条件是否成立。一旦条件成立就立即继续执行。from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By # 不好的做法硬等待 import time time.sleep(5) # 无论页面是否加载完都傻等5秒 # 好的做法显式等待 wait WebDriverWait(driver, 10) # 最长等10秒 # 等待搜索输入框出现并可交互 search_box wait.until(EC.element_to_be_clickable((By.NAME, q))) search_box.send_keys(Selenium) # 等待搜索结果元素出现在DOM中 result_elements wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, h3.t a)))expected_conditions模块提供了丰富的条件如元素可点击、元素存在、元素可见、标题包含某文字等。合理使用显式等待你的脚本抗干扰能力会大大提升。4. 实战构建百度搜索API服务我们以百度搜索为例构建一个完整的、可复用的搜索函数并将其集成到FastAPI中。4.1 封装核心搜索函数首先我们将Selenium操作封装成一个独立的、健壮的函数。import logging from typing import List, Dict from selenium.common.exceptions import TimeoutException, NoSuchElementException from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) class BaiduSearchAPI: def __init__(self, driver): self.driver driver self.wait WebDriverWait(self.driver, 15) # 全局等待对象 self.base_url https://www.baidu.com def search(self, keyword: str, max_results: int 10) - List[Dict]: 执行百度搜索并解析结果。 Args: keyword: 搜索关键词 max_results: 想要获取的最大结果数 Returns: 包含标题、链接、摘要的字典列表 results [] try: logger.info(f正在搜索关键词: {keyword}) # 1. 访问百度首页 self.driver.get(self.base_url) # 2. 定位输入框并输入关键词 # 百度首页输入框的name是wd input_box self.wait.until( EC.presence_of_element_located((By.NAME, wd)) ) input_box.clear() input_box.send_keys(keyword) # 3. 定位搜索按钮并点击 # 百度首页搜索按钮的id是su submit_button self.wait.until( EC.element_to_be_clickable((By.ID, su)) ) submit_button.click() # 4. 等待搜索结果区域加载 # 等待结果容器出现这里使用idcontent_left self.wait.until( EC.presence_of_element_located((By.ID, content_left)) ) # 额外等待一下确保结果渲染更完整 self.wait.until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, div.result.c-container.new-pmd)) ) # 5. 解析搜索结果 # 百度搜索结果的标题通常在 h3.t 标签下的 a 标签里 # 摘要信息在 div.c-abstract 或 span.content-right_8Zs40 等类中百度结构会变 search_items self.driver.find_elements(By.CSS_SELECTOR, div.result.c-container.new-pmd) logger.info(f找到 {len(search_items)} 个原始结果项) for item in search_items[:max_results]: try: # 提取标题和链接 title_elem item.find_element(By.CSS_SELECTOR, h3.t a) title title_elem.text.strip() link title_elem.get_attribute(href) # 提取摘要 - 百度摘要的class可能变化这里是一个较通用的选择器 # 可能需要根据实际情况调整 abstract_elem item.find_elements(By.CSS_SELECTOR, div.c-abstract, span.content-right_8Zs40) abstract abstract_elem[0].text.strip() if abstract_elem else 无摘要 if title and link: # 确保有效数据 results.append({ title: title, link: link, abstract: abstract }) except NoSuchElementException as e: logger.warning(f解析单个结果项时出错: {e}) continue # 跳过此项继续下一个 logger.info(f成功解析 {len(results)} 个有效结果) except TimeoutException as e: logger.error(f搜索过程超时: {e}) # 这里可以截屏保存现场便于调试 self.driver.save_screenshot(ftimeout_{keyword}.png) except Exception as e: logger.error(f搜索过程中发生未知错误: {e}) return results def close(self): 关闭浏览器驱动 if self.driver: self.driver.quit()代码解读与避坑点异常处理代码被大量的try...except包裹这是生产级代码的必备。网络波动、页面结构微调都可能导致定位失败良好的异常处理能保证服务不会因为单次失败而崩溃并能记录下有用的错误信息。选择器的脆弱性div.result.c-container.new-pmd是百度搜索结果项的一个典型容器选择器。但请注意百度的前端结构并非一成不变这个class可能会在未来某次更新中改变。这是此类项目最大的维护成本。一个应对策略是准备多套备选选择器或者使用更宽松的、基于部分属性匹配的选择器如div[class*c-container]。信息提取的容错摘要的提取 (abstract_elem) 做了容错处理因为并非所有结果都有摘要。if title and link确保了只收集有效数据。日志与调试logging模块记录了关键步骤和信息。在超时时自动截屏是线上调试的利器能让你看到出错那一刻页面到底长什么样。4.2 使用Pytest进行流程测试与验证在将逻辑交给FastAPI之前先用Pytest验证其正确性和稳定性。# test_baidu_search.py import pytest from your_search_module import BaiduSearchAPI, create_stealth_driver pytest.fixture(scopesession) def browser(): 会话级夹具整个测试会话只启动一次浏览器 driver create_stealth_driver() yield driver driver.quit() # 所有测试结束后关闭浏览器 pytest.fixture def search_api(browser): 为每个测试用例提供一个干净的搜索API实例 api BaiduSearchAPI(browser) yield api # 如果需要清理可以在这里进行比如清除cookies browser.delete_all_cookies() def test_search_basic_functionality(search_api): 测试基本搜索功能 keyword Python编程 results search_api.search(keyword, max_results5) # 断言结果列表不为空 assert len(results) 0, f搜索{keyword}未返回任何结果 # 断言每个结果都包含必要的字段 for result in results: assert title in result and result[title], 结果缺少标题 assert link in result and result[link], 结果缺少链接 assert abstract in result, 结果缺少摘要字段 # 摘要可能为空字符串但字段要有 print(f基础功能测试通过获取到{len(results)}条结果。) pytest.mark.parametrize(keyword, [开源软件, 人工智能发展, pytest单元测试]) def test_search_multiple_keywords(search_api, keyword): 参数化测试验证多个关键词 results search_api.search(keyword, max_results3) assert len(results) 0, f关键词{keyword}搜索失败 print(f关键词 {keyword} 搜索成功。) def test_search_no_results(search_api): 测试一个可能无结果或结果很少的关键词 # 用一个非常生僻的组合词 keyword 锟斤拷烫烫烫铪钨氪 results search_api.search(keyword, max_results10) # 对于无结果我们的函数应返回空列表而不是崩溃 assert isinstance(results, list), 返回值必须是列表 print(f非常见词搜索测试完成返回{len(results)}条结果。)运行pytest test_baidu_search.py -v可以看到测试结果。Pytest帮助我们系统地验证了核心函数在各种输入下的行为确保了代码质量。4.3 集成FastAPI提供HTTP服务最后我们将测试通过的搜索模块封装成Web API。# main.py from fastapi import FastAPI, HTTPException, BackgroundTasks from pydantic import BaseModel from typing import List, Optional import asyncio from concurrent.futures import ThreadPoolExecutor from your_search_module import BaiduSearchAPI, create_stealth_driver import logging logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) app FastAPI(title免费搜索API服务, description基于Selenium的搜索引擎数据获取API) # 全局线程池用于执行阻塞的Selenium操作Selenium不是异步的 executor ThreadPoolExecutor(max_workers2) # 根据服务器资源调整 # 全局浏览器驱动实例简单示例生产环境需考虑更复杂的管理 _driver None def get_driver(): 获取或创建全局浏览器驱动懒加载 global _driver if _driver is None: _driver create_stealth_driver() return _driver class SearchRequest(BaseModel): keyword: str max_results: Optional[int] 10 engine: Optional[str] baidu # 预留接口未来可扩展其他引擎 class SearchResult(BaseModel): title: str link: str abstract: str class SearchResponse(BaseModel): success: bool keyword: str results: List[SearchResult] error: Optional[str] None app.post(/api/search, response_modelSearchResponse) async def search_web(request: SearchRequest): 执行Web搜索的API端点。 logger.info(f收到搜索请求: {request.keyword}, max_results{request.max_results}) # 参数校验 if not request.keyword or len(request.keyword.strip()) 0: raise HTTPException(status_code400, detail关键词不能为空) if request.max_results and (request.max_results 0 or request.max_results 50): raise HTTPException(status_code400, detailmax_results 必须在1到50之间) try: # 由于Selenium是阻塞的IO操作放到线程池中执行避免阻塞FastAPI的事件循环 loop asyncio.get_event_loop() # 1. 获取驱动 driver get_driver() # 2. 在线程池中执行搜索 results await loop.run_in_executor( executor, lambda: perform_search(driver, request.keyword, request.max_results) ) return SearchResponse( successTrue, keywordrequest.keyword, results[SearchResult(**r) for r in results] ) except Exception as e: logger.error(fAPI搜索处理失败: {e}, exc_infoTrue) return SearchResponse( successFalse, keywordrequest.keyword, results[], errorf内部服务错误: {str(e)} ) def perform_search(driver, keyword: str, max_results: int) - List[dict]: 实际执行搜索的函数在独立线程中运行 api BaiduSearchAPI(driver) return api.search(keyword, max_results) app.on_event(shutdown) def shutdown_event(): 应用关闭时清理浏览器驱动 global _driver if _driver: _driver.quit() logger.info(浏览器驱动已关闭) if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)服务化要点异步处理Selenium是同步阻塞库。如果直接在FastAPI的异步路径操作函数中调用会阻塞整个事件循环导致服务无法处理其他请求。因此我们使用asyncio.run_in_executor将其放到一个单独的线程池中执行。全局驱动管理这里使用了简单的全局变量单例模式来管理浏览器驱动。在生产环境中你可能需要更复杂的池化管理以处理并发请求和驱动崩溃重启。输入输出模型使用Pydantic的BaseModel来定义请求和响应的数据结构FastAPI会自动处理验证、序列化和文档生成。访问http://localhost:8000/docs就能看到自动生成的交互式API文档。错误处理API层捕获了底层可能抛出的异常并将其转化为结构化的错误响应而不是让服务崩溃。现在运行python main.py你的免费搜索API服务就在本地的8000端口启动了。你可以用curl、Postman或直接访问/docs页面进行测试。5. 生产环境部署与高级优化让服务在本地运行只是第一步。要让它成为一个稳定可靠的服务还需要考虑很多问题。5.1 使用Docker容器化部署Docker能解决环境一致性问题尤其适合Selenium这种依赖特定浏览器和驱动的应用。# Dockerfile FROM python:3.9-slim # 安装Chrome浏览器和依赖 RUN apt-get update apt-get install -y \ wget \ gnupg \ unzip \ --no-install-recommends \ wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - \ echo deb [archamd64] http://dl.google.com/linux/chrome/deb/ stable main /etc/apt/sources.list.d/google.list \ apt-get update apt-get install -y \ google-chrome-stable \ fonts-ipafont-gothic fonts-wqy-zenhei fonts-thai-tlwg fonts-kacst fonts-freefont-ttf \ --no-install-recommends \ apt-get clean rm -rf /var/lib/apt/lists/* # 安装对应版本的ChromeDriver # 注意需要与安装的Chrome版本匹配这里是一个示例版本号需查询。 RUN CHROME_VERSION$(google-chrome --version | grep -oE [0-9]\.[0-9]\.[0-9]\.[0-9]) \ CHROME_MAJOR_VERSION$(echo $CHROME_VERSION | cut -d. -f1) \ # 去ChromeDriver镜像站下载对应主版本的驱动 wget -q https://chromedriver.storage.googleapis.com/LATEST_RELEASE_${CHROME_MAJOR_VERSION} -O /tmp/chromedriver_version \ CHROMEDRIVER_VERSION$(cat /tmp/chromedriver_version) \ wget -q https://chromedriver.storage.googleapis.com/${CHROMEDRIVER_VERSION}/chromedriver_linux64.zip -O /tmp/chromedriver.zip \ unzip /tmp/chromedriver.zip -d /usr/local/bin/ \ chmod x /usr/local/bin/chromedriver \ rm /tmp/chromedriver.zip /tmp/chromedriver_version WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . # 设置无头模式、禁用沙盒等环境变量也可以在代码中设置 ENV PYTHONUNBUFFERED1 ENV DISPLAY:99 CMD [uvicorn, main:app, --host, 0.0.0.0, --port, 8000]构建并运行docker build -t search-api .和docker run -p 8000:8000 search-api。5.2 性能、稳定性与反爬进阶请求频率控制疯狂请求会很快被屏蔽。必须在API层面加入速率限制Rate Limiting例如使用slowapi或fastapi-limiter中间件限制每个IP或API密钥的调用频率。浏览器实例池对于并发请求单浏览器实例是瓶颈。可以维护一个浏览器驱动池。一个简单的实现是使用queue.Queue管理多个driver实例每个API请求从池中取用一个driver用完后归还。这需要仔细处理driver的状态如cookies、标签页。代理IP轮换如果单一IP被封锁就需要使用代理。可以在创建ChromeOptions时通过add_argument(--proxy-serverhttp://your-proxy:port)添加代理。需要集成一个代理IP池并定期检测代理可用性。更彻底的隐身除了基础的CDP命令还可以考虑使用undetected-chromedriver这样的第三方库它专门为绕过自动化检测而设计。验证码处理这是一个难题。完全自动化解验证码成本很高且可能违法。折中方案是当检测到验证码页面时可通过页面特定元素判断API返回一个特定错误码并提示用户“需要人工干预”或“请稍后重试”。对于个人项目可以设置更长的请求间隔来尽量避免触发验证码。监控与告警记录日志监控API的成功率、响应时间。如果连续多次失败可能意味着网站结构已更新或IP被封锁需要触发告警。5.3 扩展其他搜索引擎我们的架构设计是支持扩展的。可以定义一个基础的SearchEngine抽象类然后为不同的搜索引擎如Google、Bing、搜狗实现具体类。from abc import ABC, abstractmethod class SearchEngine(ABC): abstractmethod def search(self, keyword: str, max_results: int) - List[Dict]: pass class BaiduSearchEngine(SearchEngine): # ... 实现如上 ... class GoogleSearchEngine(SearchEngine): def __init__(self, driver): self.driver driver self.base_url https://www.google.com # Google的页面结构和选择器完全不同需要重新实现 # ... 实现Google的搜索逻辑 ... # 在FastAPI中根据请求参数动态选择引擎 engine_map { baidu: BaiduSearchAPI, google: GoogleSearchEngine, # ... }6. 常见问题与排查指南在实际操作中你一定会遇到各种各样的问题。这里记录一些典型问题和解决思路。问题现象可能原因排查步骤与解决方案WebDriverException: Message: unknown error: cannot find Chrome binaryChrome未正确安装或路径不对。1. 确认系统已安装Chrome。2. 在Docker中确保安装命令成功执行。3. 尝试在代码中通过options.binary_location指定Chrome绝对路径。TimeoutException: 等待元素超时1. 网络慢页面未加载完。2. 选择器错误元素不存在。3. 页面结构已更新。1. 增加WebDriverWait的等待时间。2.关键步骤在超时处添加截屏driver.save_screenshot(timeout.png)查看页面实际状态。3. 手动打开浏览器使用开发者工具重新分析页面元素更新选择器。能打开页面但搜索无结果或解析不到数据1. 反爬策略生效返回了验证页或空白页。2. 页面动态加载显式等待的条件不满足。3. 选择器过于具体未能匹配到元素。1. 检查截屏看是否是验证码页面。2. 尝试等待更长时间或等待其他更稳定的标志性元素出现。3. 使用更通用的选择器或尝试通过XPath的contains函数进行模糊匹配。运行几分钟后脚本卡死或无响应1. 浏览器内存泄漏。2. 未正确关闭旧的driver实例导致进程堆积。3. 网络连接断开。1. 确保每次搜索后清理不必要的缓存如driver.delete_all_cookies()。2. 实现driver的重置或重启机制例如每处理N个请求后重启一次浏览器。3. 添加全局超时设置并使用try...finally确保资源释放。在服务器无图形界面上运行失败缺少显示服务器或相关库。1. 确保启动选项包含--headless。2. 可能需要安装虚拟显示服务器如Xvfb。在Docker的Debian系镜像中可以安装xvfb并设置ENV DISPLAY:99并在启动命令前运行Xvfb :99 -screen 0 1024x768x24 。返回结果中包含大量广告或非预期内容选择器不够精确匹配到了非搜索结果区域。1. 仔细分析页面HTML结构找到搜索结果列表容器最独特的父级元素。2. 先定位到这个容器再在其内部查找结果项可以极大减少干扰。最后的个人体会构建这样一个服务最大的挑战从来不是Selenium的语法而是与目标网站持续不断的“博弈”。网站前端微小的改动就可能让你的解析器失效。因此这个项目的代码必须具有高度的可观测性详尽的日志、错误截图和可维护性清晰的结构、易于修改的选择器配置。将它用于学习、原型验证或极低频率的个人用途是很好的选择但如果考虑商业化或高频使用务必深入研究目标网站的Robots协议和服务条款尊重对方的规则并准备好应对更复杂的技术和合规挑战。这个项目更像一个技术练兵场从中获得的关于自动化、反爬、系统设计和问题排查的经验其价值远超过这个API本身。