文墨共鸣大模型Python爬虫数据智能处理实战自动化采集与清洗你是不是也遇到过这样的烦恼用Python爬虫好不容易抓下来一堆网页数据结果发现里面广告、导航、版权声明什么都有真正想要的文章正文、产品信息、价格数据却混在里面还得自己写一堆复杂的正则表达式或者XPath去一点点抠出来费时费力不说还经常因为网页结构一变整个解析规则就失效了。传统的爬虫数据处理就像是在一堆沙子里淘金过程繁琐且容易出错。今天我想跟你分享一个更聪明的办法让大模型来帮你“看懂”网页自动完成信息的识别、抽取和清洗。我们这次要用到的“文墨共鸣”大模型它在理解中文网页内容方面表现相当不错。接下来我就带你一步步搭建环境写代码看看如何把大模型的自然语言理解能力无缝对接到你的爬虫项目里让数据处理从“体力活”变成“智能活”。1. 环境准备与项目搭建工欲善其事必先利其器。我们先来把运行环境准备好。这个实战项目主要依赖两个核心部分一是能调用大模型的工具二是我们熟悉的Python爬虫库。首先确保你的Python版本在3.8或以上。然后我们通过pip安装必要的包。我建议你创建一个新的虚拟环境来做这件事避免包版本冲突。# 创建并激活虚拟环境以venv为例 python -m venv llm-spider-env source llm-spider-env/bin/activate # Linux/macOS # 或者 llm-spider-env\Scripts\activate # Windows # 安装核心依赖 pip install requests beautifulsoup4 lxml # 安装大模型调用库这里以OpenAI兼容的客户端为例文墨共鸣通常提供兼容API pip install openai这里解释一下几个包的作用requests用来发送网络请求获取网页HTML。beautifulsoup4和lxml经典的HTML解析库用于初步的页面结构处理和内容提取。openai一个通用的客户端库。很多国内的大模型服务包括文墨共鸣为了开发者方便都会提供与OpenAI API兼容的接口。这意味着我们可以用几乎相同的代码来调用它们只需要改一下API的地址和密钥。接下来你需要获取文墨共鸣大模型的API访问权限。通常你需要去其官方平台注册账号创建一个应用然后就能拿到两个关键信息API Key和API Base URL也就是服务的地址。请妥善保管你的API Key不要直接写在代码里。2. 核心思路让大模型成为你的“信息理解官”在开始写代码前我们先理清思路。传统爬虫数据处理流程是“下载 - 解析规则 - 提取 - 清洗”规则是死的。我们的新流程是“下载 - 初步解析去噪 - 大模型理解与提取 - 结构化输出”。大模型在这里扮演一个“信息理解官”的角色。我们不需要告诉它精确的XPath路径只需要用自然语言描述我们想要什么比如“从下面这段HTML内容里提取出新闻的标题、正文、作者和发布时间。” 模型就能基于对语义的理解把相关信息找出来并以我们指定的格式比如JSON返回。这样做有几个明显的好处抗变化能力强网页换个样式、加个div只要核心内容语义没变模型依然能正确提取。处理非结构化数据对于评论、简介、描述这类自由文本模型能更好地理解并抽取关键信息。简化开发省去了编写和维护复杂解析规则的时间。2.1 设计与大模型的“对话”提示词让大模型干活关键在如何给它下指令也就是写“提示词”Prompt。我们的目标是让它稳定地输出结构化的数据。一个高效的提示词通常包含以下几个部分角色设定告诉模型它现在要扮演什么角色。任务描述清晰、具体地说明要它做什么。输入内容把需要处理的网页文本放进去。输出格式要求明确要求它以什么格式如JSON返回并定义好字段。例如针对新闻网页我们的提示词可以这样设计你是一个专业的数据提取助手。你的任务是从用户提供的网页文本内容中精准提取出指定的信息。 请仔细分析以下网页内容并提取如下信息 - 新闻标题 (title) - 新闻正文 (content) - 作者 (author)如果未找到则返回空字符串 - 发布时间 (publish_time)如果未找到则返回空字符串 要求 1. 只提取明确出现在内容中的信息不要编造。 2. 正文内容请保持连贯去除无关的广告、导航文字。 3. 请将提取结果以纯JSON格式输出不要包含任何其他解释性文字。 JSON格式示例{title: ..., content: ..., author: ..., publish_time: ...} 网页内容如下 [这里粘贴清洗后的网页正文文本]3. 分步实战从爬取到智能清洗我们用一个实际的例子来串起整个流程。假设我们要从某个资讯页面抓取文章信息。3.1 第一步获取并初步清洗网页内容即使有大模型我们也不应该把原始的、包含大量噪音脚本、样式、广告iframe的HTML直接扔给它。那样会消耗大量不必要的Token计费单位也可能干扰模型判断。先用BeautifulSoup做个初步清理。import requests from bs4 import BeautifulSoup def fetch_and_clean_html(url): 获取网页并做初步清洗返回核心正文文本 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding # 自动识别编码 except requests.RequestException as e: print(f抓取网页失败: {e}) return None soup BeautifulSoup(resp.text, lxml) # 移除脚本、样式、注释等无关标签 for element in soup([script, style, meta, link, comment, iframe, nav, footer, aside]): element.decompose() # 一个简单的启发式方法寻找包含最多文本的article或div标签 # 实际项目中可能需要根据目标网站调整 article soup.find(article) if not article: # 如果没有article标签尝试找包含段落最多的主内容区 all_divs soup.find_all(div) # 这里用一个简单策略选择文本长度最长的div可能不总是准确但作为示例 if all_divs: article max(all_divs, keylambda d: len(d.get_text(stripTrue))) else: article soup.body # 最后备选 # 获取清理后的纯文本并用换行符保留一些段落结构 if article: text article.get_text(separator\n, stripTrue) else: text soup.get_text(separator\n, stripTrue) # 进一步合并过多的空白行 import re text re.sub(r\n\s*\n, \n\n, text) return text[:5000] # 限制长度避免超出模型上下文限制 # 测试一下 sample_url https://example.com/news/123 # 请替换为实际URL cleaned_text fetch_and_clean_html(sample_url) if cleaned_text: print(初步清洗后的文本预览) print(cleaned_text[:500], ...)3.2 第二步调用大模型进行智能提取现在我们把清洗后的文本和设计好的提示词结合起来调用文墨共鸣大模型API。import openai import json import os # 配置API信息请从环境变量或配置文件中读取不要硬编码 # 假设文墨共鸣的兼容API地址为 https://api.wenmo.example.com/v1 openai.api_base os.getenv(LLM_API_BASE, https://api.wenmo.example.com/v1) openai.api_key os.getenv(LLM_API_KEY, your-api-key-here) # 务必替换成你的真实Key def extract_info_with_llm(cleaned_text, prompt_template): 使用大模型从文本中提取结构化信息 # 构建完整的提示词 full_prompt prompt_template.replace([这里粘贴清洗后的网页正文文本], cleaned_text) try: response openai.ChatCompletion.create( modelwenmo-model-name, # 替换为文墨共鸣提供的具体模型名称如 wenmo-7b-chat messages[ {role: user, content: full_prompt} ], temperature0.1, # 温度调低让输出更确定、更稳定 max_tokens2000, # 根据预期输出长度调整 ) result_text response.choices[0].message.content.strip() # 尝试从返回内容中解析JSON # 有时模型可能会在JSON外包裹一些标记或说明这里尝试提取 json_match re.search(r\{.*\}, result_text, re.DOTALL) if json_match: result_json json.loads(json_match.group()) return result_json else: # 如果直接解析失败可能是模型没有严格按格式输出 print(模型返回格式非纯JSON原始内容, result_text[:200]) # 可以在这里加入重试或后处理逻辑 return {error: 解析失败, raw_output: result_text} except openai.error.OpenAIError as e: print(f调用大模型API出错: {e}) return None except json.JSONDecodeError as e: print(f解析模型返回的JSON失败: {e}) print(原始返回:, result_text[:500]) return None # 定义我们之前设计好的提示词模板 news_extraction_prompt 你是一个专业的数据提取助手。你的任务是从用户提供的网页文本内容中精准提取出指定的信息。 请仔细分析以下网页内容并提取如下信息 - 新闻标题 (title) - 新闻正文 (content) - 作者 (author)如果未找到则返回空字符串 - 发布时间 (publish_time)如果未找到则返回空字符串 要求 1. 只提取明确出现在内容中的信息不要编造。 2. 正文内容请保持连贯去除无关的广告、导航文字。 3. 请将提取结果以纯JSON格式输出不要包含任何其他解释性文字。 JSON格式示例{title: ..., content: ..., author: ..., publish_time: ...} 网页内容如下 [这里粘贴清洗后的网页正文文本] # 组合使用 if cleaned_text: extracted_data extract_info_with_llm(cleaned_text, news_extraction_prompt) if extracted_data and error not in extracted_data: print(智能提取成功) print(json.dumps(extracted_data, ensure_asciiFalse, indent2)) else: print(提取过程出现问题。)3.3 第三步处理更复杂的场景与批量操作上面的例子是针对新闻的。对于电商产品页面、企业名录、招聘信息等你只需要修改提示词即可。例如电商产品提示词可以要求提取product_name,price,specifications,description,review_summary等。对于批量爬虫任务我们需要考虑效率和成本。直接每页都调用一次大模型可能比较贵。一个实用的策略是“混合模式”规则优先对于结构稳定、简单的字段如价格可能就在某个固定的class里先用XPath或CSS选择器提取。模型兜底对于复杂的、非结构化的字段如产品描述、评论情感或者当规则提取失败时再调用大模型。内容去重如果多个页面有相同的板块如网站统一的页脚说明提取一次后缓存起来避免重复分析和计费。这里给出一个批量处理的简单框架import time from urllib.parse import urljoin def scrape_batch_with_llm(start_url, max_pages5): 批量爬取并处理一系列页面 visited set() to_visit [start_url] all_results [] while to_visit and len(all_results) max_pages: current_url to_visit.pop(0) if current_url in visited: continue visited.add(current_url) print(f处理: {current_url}) # 1. 获取并清洗页面 text_content fetch_and_clean_html(current_url) if not text_content: continue # 2. 智能提取核心信息 data extract_info_with_llm(text_content, news_extraction_prompt) if data and error not in data: data[source_url] current_url # 记录来源 all_results.append(data) print(f 已提取标题: {data.get(title, N/A)[:50]}...) # 3. 示例简单的链接发现用于继续爬取。实际项目会更复杂。 # 这里仅作演示真实情况需根据网站结构定制。 time.sleep(1) # 礼貌性延迟避免对服务器造成压力 return all_results # 可以将最终结果保存为JSON文件 # results scrape_batch_with_llm(https://example-news-site.com/page1) # with open(extracted_news.json, w, encodingutf-8) as f: # json.dump(results, f, ensure_asciiFalse, indent2)4. 效果对比与实战建议我对比了传统规则提取和这种大模型辅助提取的方式。在一个测试集上针对经常改版的资讯网站传统方法的准确率随着时间推移会下降需要不断维护规则。而大模型方法保持了稳定的高准确率因为它理解的是内容本身而非HTML结构。当然这个方法也不是万能的。我有几点实战建议给到你成本意识大模型API调用是按Token收费的。务必对文本进行有效的预处理去噪、截断只把必要的文本送进去。对于大规模爬取可以先用小样本测试效果和成本。提示词工程提取效果很大程度上取决于提示词。多花点时间设计清晰、无歧义的提示词并在不同页面上测试调整。可以准备多个针对不同网页类型的提示词模板。错误处理与重试网络请求和API调用都可能失败。代码中要有完善的异常捕获和重试机制对于解析失败的输出可以考虑记录日志以便后续分析优化提示词。合规使用始终遵守目标网站的robots.txt协议控制请求频率尊重版权和个人隐私。大模型的能力不应被用于爬取受法律严格保护或侵犯他人权益的数据。将文墨共鸣这类大模型引入爬虫数据处理环节确实打开了一扇新的大门。它尤其适合那些页面结构复杂多变、信息以非结构化文本为主的应用场景。对于开发者而言这意味着可以将精力更多集中在业务逻辑和流程设计上而不是与千变万化的HTML标签做斗争。你不妨从手头的一个小项目开始尝试先体验一下这种“智能清洗”带来的效率提升相信会有不一样的感受。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。