1. 项目概述与核心价值最近在整理一些技术文档和项目复盘时我发现自己收藏了大量的微信公众号文章。这些文章质量参差不齐有的干货满满有的则信息密度极低。每次想找一篇特定的文章要么得在微信里翻半天要么就是收藏夹里一片混乱标题和内容对不上号。更头疼的是有些文章链接点进去显示“此内容已被发布者删除”或者因为各种原因无法访问之前觉得有用的信息就这么丢了。我相信很多技术从业者、内容创作者或者有信息整理习惯的朋友都遇到过类似的问题。“AlienHub/wechat-article-skill”这个项目从名字上看直译过来就是“外星人中心/微信文章技能”。虽然名字带点科幻色彩但它的核心目标非常务实解决微信公众号文章的本地化保存、高效管理和结构化利用问题。它不是一个简单的收藏工具而是一套旨在将散落在微信生态内的、非结构化的图文内容转化为本地可控、可检索、可分析的“知识资产”的技能或方案集合。这个项目的价值在于它瞄准了一个非常普遍但长期被忽视的痛点。微信作为一个封闭的生态其内容尤其是公众号文章的导出、备份和二次处理一直是个麻烦事。我们无法像对待普通网页那样简单地“另存为”或通过浏览器插件完美抓取。wechat-article-skill提供了一套方法论和可能的工具链让我们能够永久保存将文章完整内容包括文字、图片、排版样式抓取到本地避免因文章删除或账号被封而丢失。高效管理对抓取的文章进行重命名、分类、打标签建立本地知识库。深度利用支持全文搜索、内容提取如只保留纯文本用于AI训练、生成摘要或思维导图甚至批量分析某个公众号的写作风格和主题分布。简单来说它想把我们从微信的“信息孤岛”里解放出来让我们真正成为自己收藏内容的主人。接下来我会详细拆解实现这套“技能”可能涉及的核心技术点、实操方案以及我踩过的一些坑。2. 核心思路与技术方案选型要实现微信公众号文章的本地化处理整个流程可以拆解为几个核心环节链接获取 - 内容抓取 - 内容解析与清洗 - 本地存储与管理 - 高级应用。每个环节都有多种技术实现路径需要根据个人技术栈、需求精度和操作频率进行权衡。2.1 链接获取源头活水这是第一步也是最简单的一步。我们的目标就是收集公众号文章的URL。有几种常见方式手动复制最直接适合少量、精选的文章。直接在微信里打开文章点击右上角“…”选择“复制链接”即可。RSS订阅这是自动化获取的优雅方案。一些第三方服务如RSSHub可以为指定的公众号生成RSS源。你只需要在RSS阅读器如Inoreader, Feedly中订阅这个源新文章发布后阅读器会自动获取链接和摘要。这种方式非常适合追踪特定公众号的持续更新。爬虫监听对于没有RSS源的公众号或者想获取历史文章列表可能需要编写爬虫。但这涉及到模拟登录、处理反爬机制如滑动验证码技术门槛和风险都较高且可能违反平台规则不推荐普通用户尝试。注意无论采用哪种方式请务必尊重内容创作者的版权。本地化保存应仅限于个人学习、研究之用切勿用于商业传播或侵害原作者权益。2.2 内容抓取与解析技术核心这是最具技术含量的部分。微信公众号文章的页面结构是动态渲染的直接curl或wget得到的HTML源码并不是最终展示给用户的内容其中文章正文可能被编码或隐藏在JavaScript数据中。主流方案有以下几种专用抓取工具/库wechat-article-spider这是一个常见的Python库命名。它的原理通常是模拟微信客户端或网页端的请求解析返回的JSON数据来提取文章内容。这类库通常封装了请求头设置、参数构造和数据解析的复杂逻辑。readability/newspaper3k这些是通用的文章提取库。它们不针对微信而是通过分析HTML的DOM结构智能地找出页面的核心正文内容去除导航、广告等噪音。对于微信公众号文章有时需要结合专用库先获取到包含正文的HTML片段再用这些库做清洗。实操选择对于稳定性要求高、希望开箱即用的场景优先寻找和维护良好的专用库如wechat-article-spider。如果专用库失效可以尝试组合方案用requestsBeautifulSoup获取基础页面再结合readability提取正文。浏览器自动化工具Puppeteer/Playwright/Selenium这些工具可以控制一个真实的浏览器如Chrome去打开网页等待页面完全加载包括JavaScript执行完毕然后获取完整的DOM。这种方式能100%还原页面视觉上的内容包括复杂的排版和交互式图表。优缺点优点是抓取成功率高能应对各种前端框架。缺点是资源消耗大要启动浏览器、速度慢不适合大批量抓取。适用场景抓取那些严重依赖JS渲染、专用解析库无法处理的文章或者需要精确截图保存时使用。第三方API服务一些平台提供付费的公众号文章抓取API。它们通常维护着稳定的抓取服务返回结构化的数据标题、作者、发布时间、正文、封面图URL等。优缺点最省心、最稳定但需要付费且存在数据隐私风险。个人建议除非是商业项目或对数据稳定性有极高要求否则个人使用从成本和隐私角度考虑优先自建方案。我的方案选型逻辑我个人的技术栈偏Python且希望方案轻量、可脚本化。因此我倾向于以requestsBeautifulSoup 专用解析函数作为基础。我会先研究当前微信文章的页面数据接口写一个简单的解析脚本。如果这个脚本因为微信改版而失效我会临时用Playwright作为降级方案确保能抓到内容同时再去更新我的解析脚本。这样在效率和稳定性之间取得平衡。2.3 内容存储与格式化让数据可用抓取下来的内容需要妥善保存。这里有两个层次原始存档保存完整的HTML文件。这是最保真的方式日后可以还原出和网页一模一样的排版。可以用文章标题或发布时间作为文件名。但HTML文件包含大量标签不利于直接进行文本分析。结构化存储将文章解析成结构化的数据然后存储。文件格式Markdown这是技术圈最流行的选择。将HTML转换为Markdown可以极大减小文件体积保留基本的标题、列表、加粗、链接等格式并且纯文本特性使其极易被代码编辑器、笔记软件如Obsidian, Logseq和搜索工具如grep,ripgrep处理。工具方面html2text或pandoc是不错的选择。JSON适合存储文章的元数据标题、作者、发布时间、原文链接和分段后的正文内容。便于程序化读取和分析。SQLite数据库如果你有成千上万篇文章需要复杂的查询和分类那么存入SQLite数据库是更专业的选择。可以设计articles表来存储核心内容tags表和关联表来实现多对多的标签管理。我的存储策略我采用“双轨制”。对于每一篇文章我既保存一份原始的HTML文件作为档案又将其转换为Markdown格式存入按主题分类的文件夹中。同时我会用一个SQLite数据库记录所有文章的元数据和Markdown文件的路径方便快速检索和统计。这样兼顾了保真度和可用性。2.4 管理与应用释放数据价值本地有了文章库之后就可以玩出很多花样了本地全文搜索这是最基本也最提升效率的功能。不用再依赖微信那孱弱的搜索。你可以用EverythingWindows或SpotlightmacOS搜索文件名但这不够。更好的方式是使用支持全文搜索的笔记软件如Obsidian或者自己写个小脚本用whooshPython全文搜索引擎库或直接遍历Markdown文件用grep进行搜索。内容分析与挖掘词频分析用jieba中文分词和collections.Counter可以快速分析某个公众号或某个主题下文章的高频词汇了解其关注焦点。摘要生成利用文本摘要算法如TextRank或调用大语言模型LLM的API为长文自动生成摘要快速把握核心观点。知识图谱构建进阶玩法。从多篇文章中提取实体人物、技术、概念和关系构建个人知识图谱实现知识的关联和发现。自动化流水线将上述步骤串联起来实现自动化。例如用GitHub Actions或本地定时任务cron定期检查你订阅的RSS源发现新文章链接后自动触发抓取、转换、存储到指定目录并发送通知如邮件、Telegram消息。3. 实操构建从零搭建个人微信文章知识库下面我将以Python为主要工具演示一个相对完整、可运行的实操方案。这个方案侧重于抓取、解析为Markdown、并存入SQLite数据库这一核心流程。3.1 环境准备与依赖安装首先确保你的电脑上安装了Python建议3.8及以上版本。然后我们通过pip安装必要的库。# 创建项目目录并进入 mkdir wechat-article-kit cd wechat-article-kit # 创建虚拟环境可选但推荐 python -m venv venv # Windows: venv\Scripts\activate # macOS/Linux: source venv/bin/activate # 安装核心依赖 pip install requests beautifulsoup4 html2text pillow # requests: 用于网络请求 # beautifulsoup4: 用于解析HTML # html2text: 将HTML转换为Markdown # pillow: 用于可能的图片处理 # 如果需要使用浏览器自动化方案作为备用安装playwright pip install playwright playwright install chromium # 安装Chromium浏览器3.2 核心抓取与解析函数实现我们创建一个名为wechat_crawler.py的文件。这里的关键在于找到微信公众号文章的真实数据接口。经过分析此方法可能随时间失效需自行探索微信文章的数据通常包含在一个名为window.__INITIAL_DATA__的JavaScript变量中或者通过特定的API接口返回JSON。以下是一个示例性的解析函数它尝试从文章HTML中提取__INITIAL_DATA__并解析import re import json import requests from bs4 import BeautifulSoup import html2text def fetch_wechat_article(url): 抓取微信公众号文章内容 :param url: 文章链接 :return: 字典包含标题、作者、发布时间、正文HTML、正文Markdown headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() # 检查请求是否成功 html_content resp.text except requests.RequestException as e: print(f请求失败: {e}) return None soup BeautifulSoup(html_content, html.parser) # 方法1尝试从script标签中提取 __INITIAL_DATA__ article_data None for script in soup.find_all(script): if script.string and __INITIAL_DATA__ in script.string: # 使用正则表达式匹配 JSON 数据 match re.search(rwindow\.__INITIAL_DATA__\s*\s*({.*?});, script.string, re.DOTALL) if match: try: article_data json.loads(match.group(1)) break except json.JSONDecodeError as e: print(f解析 __INITIAL_DATA__ 失败: {e}) continue # 方法2如果方法1失败尝试更通用的正文提取备用方案 if not article_data: print(未找到 __INITIAL_DATA__尝试通用提取...) # 这里可以调用 readability 或 newspaper3k本例使用简单的BeautifulSoup定位 # 微信公众号正文通常在一个 id 为 js_content 的 div 中 content_div soup.find(div, idjs_content) if content_div: title soup.find(h1, class_rich_media_title) or soup.find(title) title title.get_text().strip() if title else 未知标题 author_tag soup.find(span, class_rich_media_meta rich_media_meta_text) author author_tag.get_text().strip() if author_tag else 未知作者 # 发布时间可能较难定位这里简化处理 publish_time 未知时间 content_html str(content_div) # 使用 html2text 转换 h html2text.HTML2Text() h.ignore_links False h.ignore_images False content_md h.handle(content_html) return { title: title, author: author, publish_time: publish_time, content_html: content_html, content_md: content_md, source_url: url } else: print(无法定位文章正文。) return None # 从 article_data 中提取信息结构取决于微信的页面设计这里需要你实际分析数据 # 以下路径是示例实际情况可能完全不同 try: # 示例路径你需要打开浏览器开发者工具查看 Network 中返回的JSON结构 title article_data.get(page, {}).get(title, 未知标题) author article_data.get(page, {}).get(author, 未知作者) publish_time article_data.get(page, {}).get(publish_time, 未知时间) # 正文HTML可能在 article_data[page][content] 或类似字段中 content_html article_data.get(page, {}).get(content, ) if not content_html: print(从数据中未找到正文内容。) return None # 将正文HTML转换为Markdown h html2text.HTML2Text() h.ignore_links False # 保留链接 h.ignore_images False # 保留图片标记 h.body_width 0 # 不自动换行 content_md h.handle(content_html) return { title: title, author: author, publish_time: publish_time, content_html: content_html, content_md: content_md, source_url: url } except KeyError as e: print(f解析文章数据结构时出错字段缺失: {e}) print(获取到的数据样本:, json.dumps(article_data, indent2)[:500]) # 打印前500字符辅助调试 return None # 备用方案使用Playwright进行渲染后抓取当上述方法失效时 async def fetch_with_playwright(url): from playwright.async_api import async_playwright async with async_playwright() as p: browser await p.chromium.launch(headlessTrue) # 无头模式 page await browser.new_page() await page.goto(url) # 等待正文加载 await page.wait_for_selector(#js_content, timeout10000) # 获取页面内容 content_html await page.content() # 这里可以继续用BeautifulSoup从content_html中提取信息逻辑同上 # ... await browser.close() # 返回提取后的数据字典...重要提示上述代码中的__INITIAL_DATA__解析路径 (article_data.get(page, {})...) 是完全假设的。微信的实际数据结构非常复杂且经常变动。你必须自己动手用Chrome浏览器打开一篇公众号文章按F12打开开发者工具在Sources或Network标签页里搜索__INITIAL_DATA__仔细查看其完整的JSON结构然后修改代码中的提取逻辑。这是整个抓取环节最核心、最需要耐心的一步。3.3 本地存储与数据库设计接下来我们设计一个简单的SQLite数据库来管理文章元数据并编写函数将抓取到的文章保存为文件并入库。创建db_manager.pyimport sqlite3 import os from datetime import datetime class ArticleDB: def __init__(self, db_patharticles.db): self.db_path db_path self.init_db() def init_db(self): 初始化数据库创建表 conn sqlite3.connect(self.db_path) cursor conn.cursor() # 文章表 cursor.execute( CREATE TABLE IF NOT EXISTS articles ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, author TEXT, publish_time TEXT, source_url TEXT UNIQUE, -- 唯一约束避免重复抓取 local_html_path TEXT, local_md_path TEXT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, tags TEXT -- 可以存储逗号分隔的标签或另建表关联 ) ) # 可以在这里创建标签表 tags 和关联表 article_tags 来实现多对多关系 conn.commit() conn.close() def save_article(self, article_data, save_dir./articles): 保存文章到本地文件并记录到数据库 :param article_data: fetch_wechat_article 返回的字典 :param save_dir: 本地存储根目录 :return: 文章ID # 创建存储目录 os.makedirs(save_dir, exist_okTrue) # 生成安全的文件名使用时间戳和标题部分 import re safe_title re.sub(r[\\/*?:|], _, article_data[title])[:50] # 限制长度 timestamp datetime.now().strftime(%Y%m%d_%H%M%S) base_filename f{timestamp}_{safe_title} # 保存HTML文件 html_filename f{base_filename}.html html_path os.path.join(save_dir, html_filename) with open(html_path, w, encodingutf-8) as f: f.write(article_data[content_html]) # 保存Markdown文件 md_filename f{base_filename}.md md_path os.path.join(save_dir, md_filename) with open(md_path, w, encodingutf-8) as f: # 在Markdown文件头部添加元信息 f.write(f# {article_data[title]}\n\n) f.write(f 作者{article_data[author]}\n) f.write(f 发布时间{article_data[publish_time]}\n) f.write(f 原文链接{article_data[source_url]}\n\n) f.write(---\n\n) f.write(article_data[content_md]) # 存入数据库 conn sqlite3.connect(self.db_path) cursor conn.cursor() try: cursor.execute( INSERT INTO articles (title, author, publish_time, source_url, local_html_path, local_md_path) VALUES (?, ?, ?, ?, ?, ?) , ( article_data[title], article_data[author], article_data[publish_time], article_data[source_url], os.path.abspath(html_path), os.path.abspath(md_path) )) article_id cursor.lastrowid conn.commit() except sqlite3.IntegrityError: # 如果URL已存在则更新记录可选 print(f文章已存在: {article_data[title]}) cursor.execute(SELECT id FROM articles WHERE source_url?, (article_data[source_url],)) article_id cursor.fetchone()[0] finally: conn.close() return article_id def search_articles(self, keyword): 在标题和Markdown内容中搜索文章简单示例 conn sqlite3.connect(self.db_path) conn.create_function(read_file, 1, self._read_file_text) # 注册一个读取文件的函数 cursor conn.cursor() # 这是一个非常简单的全文搜索实际应用建议使用whoosh或sqlite的FTS扩展 cursor.execute( SELECT id, title, author, source_url, local_md_path FROM articles WHERE title LIKE ? OR id IN ( SELECT id FROM articles WHERE local_md_path LIKE ? ) , (f%{keyword}%, f%{keyword}%)) results cursor.fetchall() conn.close() return results staticmethod def _read_file_text(filepath): 辅助函数读取文件文本内容用于SQLite函数 try: with open(filepath, r, encodingutf-8) as f: return f.read() except: return 3.4 整合与使用主程序示例最后我们创建一个main.py来串联整个流程import sys from wechat_crawler import fetch_wechat_article from db_manager import ArticleDB def main(): if len(sys.argv) 2: print(用法: python main.py 微信公众号文章URL) sys.exit(1) url sys.argv[1].strip() print(f开始抓取: {url}) article_data fetch_wechat_article(url) if not article_data: print(抓取失败尝试使用Playwright备用方案...) # 这里可以调用 fetch_with_playwright (需要异步处理) # 为简化示例我们跳过。实际应用中应集成。 print(备用方案未启用或也失败。) return print(f抓取成功标题: {article_data[title]}) # 初始化数据库和存储 db ArticleDB() article_id db.save_article(article_data) print(f文章已保存到数据库ID: {article_id}) print(fHTML文件保存在: {article_data.get(local_html_path, N/A)}) print(fMarkdown文件保存在: {article_data.get(local_md_path, N/A)}) # 示例搜索测试 # search_results db.search_articles(Python) # for res in search_results: # print(res) if __name__ __main__: main()运行方式python main.py https://mp.weixin.qq.com/s/xxxxxxxxxxxx4. 常见问题、避坑指南与进阶技巧在实际操作中你会遇到各种各样的问题。下面是我总结的一些常见坑点和解决方案。4.1 抓取失败与反爬应对问题请求被拒绝返回403或其它错误码。原因缺少正确的请求头Headers特别是User-Agent、Referer有时还需要Cookie。解决使用浏览器的开发者工具F12 - Network查看打开文章时浏览器发送的请求将其Headers完全复制到你的requests.get()调用中。重点关注User-Agent模拟真实浏览器和Referer通常设置为微信域名的某个页面。问题能获取HTML但找不到文章正文#js_content为空或没有__INITIAL_DATA__。原因微信页面改版或者文章加载方式发生变化如更多的JS动态加载。解决更新解析逻辑重新分析页面结构找到新的数据载体。启用备用方案这是为什么我们要准备Playwright的原因。当直接解析失败时自动切换到浏览器渲染模式。虽然慢但能保证成功率。可以在代码中设置一个开关或失败重试机制。问题抓取速度慢或频繁抓取后被暂时封禁IP。原因请求频率过高。解决在批量抓取时务必在请求间添加随机延时例如time.sleep(random.uniform(2, 5))。对于非常重要的文章可以考虑使用代理IP池但这对于个人项目来说成本较高。4.2 内容解析与清洗的细节问题转换后的Markdown格式混乱代码块、表格等元素丢失或错乱。原因html2text的默认配置可能无法完美处理微信复杂的富文本样式。解决仔细调整html2text.HTML2Text()的配置参数。例如h html2text.HTML2Text() h.ignore_links False h.ignore_images False h.ignore_emphasis False # 保留加粗斜体 h.body_width 0 # 禁用自动换行保持原样 h.mark_code True # 更好地处理代码块对于表格html2text支持有限你可能需要先用BeautifulSoup单独提取表格然后用其他库如pandas或自定义逻辑转换为Markdown表格。问题图片无法显示或丢失。原因1图片链接是防盗链的。微信的图片链接可能带有鉴权参数直接保存的链接可能过期或无法在外部访问。解决1在抓取时将图片下载到本地并替换Markdown中的链接为本地相对路径。这需要额外的图片下载和路径处理逻辑。原因2图片是懒加载的>