108张图搞懂AI基础｜Token·LLM·深度学习一次讲透（零基础入门）

108张图搞懂AI基础Token·LLM·深度学习一次讲透零基础入门本文是「108张AI知识卡片·大模型通关手册」系列的开篇。零基础学AI从哪里开始不用写代码、不用啃论文这一篇用 8 张图帮你建立 AI 的核心知识坐标系——从 Token 到强化学习一条线串起来。系列共 108 张卡片、22 篇笔记覆盖大模型开发者必经的全链路。TokenAI 处理文字的最小单位不是字也不是词更像积木块。Prompt你给 AI 的输入指令问得好答得才妙。LLM大语言模型ChatGPT 这类产品背后的大脑。深度学习基于神经网络的范式越练越强。机器学习更上位的统称让机器从数据中找规律。有监督 / 无监督按有没有标注答案区分的两种学习方式。强化学习靠奖惩反馈试错学习AlphaGo 就靠它。读完这 8 个概念你就有了一张 AI 入门的全景地图后续看任何技术文章都不会迷路。一、TokenAI 理解文字的最小单位通俗类比像乐高的积木块。AI 看不懂汉字也看不懂英文单词它只认一串串数字。把句子切成一小块一小块Token每块对应一个编号AI 才能开始处理。几个关键认知Token ≠ 字、≠ 词中文里知识可能被切成知识两个 Token英文里 “understanding” 可能是 1 个或多个 Token取决于分词器。计费单位几乎所有大模型 API 按 Token 计费输入 Token 和输出 Token 单价不同。上下文窗口模型一次能看进来的字数上限单位也是 Token如 128K、200K。 经验中文平均 1 字 ≈ 1.5–2 Token英文平均 1 词 ≈ 1–2 Token。粗估灵感来源实际以分词器为准。二、Prompt跟 AI 说话的方式通俗类比Prompt 是你和 AI 对话时的提问方式。同样问今天天气怎样问得越具体AI 答得越靠谱。为什么 Prompt 重要模型本身是固定的真正决定输出质量的是你怎么喂问题。这也是为什么会有Prompt 工程这个专门方向——后续系列会单独开篇讲。新手最常踩的 3 个坑太笼统“帮我写个方案” → AI 只能瞎猜你要什么。不给背景不给角色、不给受众、不给格式要求。一次问太多把 5 个问题塞进一句模型容易漏答。后续系列Prompt 篇会系统讲零样本、少样本、思维链 CoT、Context 上下文等。三、LLM大语言模型ChatGPT 的超级大脑通俗类比LLMLarge Language Model 读过整个互联网的超级大脑你给它一段开头它能接下去续写。它实际在做什么本质是在做**“下一个 Token 预测”**。给它前面一段文字它计算每个候选 Token 出现的概率挑一个接上再重复这个过程。一次接一个 Token直到结束。关键的大在哪参数量大从几亿到几千亿。训练数据大海量互联网文本。算力大训练一次动辄几千张 GPU。下一篇我们会聊到参数规模 × 涌现行为——为什么模型越大越聪明以及预训练 / SFT / RLHF 这套调教流水线是怎么把一个只会续写的模型变成会对话的助手的。四、深度学习AI 的直觉系统通俗类比模拟人脑神经元的多层网络信息和权重在层与层之间传递越练识别越准像练就了直觉。和机器学习的关系深度学习是机器学习的一个分支特指用多层神经网络的那一支。LLM、图像识别、语音识别背后基本都是深度学习。为什么深浅层网络学表层特征边缘、颜色。深层网络能把低层特征组合成高层概念从线条到轮廓到猫脸。五、机器学习AI 的学习方式通俗类比不靠人写规则而是让机器从数据中自己找规律。给它一堆猫的照片它自己总结出什么样的特征是猫。和传统编程的区别传统编程机器学习输入数据 规则数据 答案输出结果规则模型本质人写逻辑机器学逻辑深度学习 ⊂ 机器学习 ⊂ AI。三者是包含关系别搞混。六、有监督学习老师带学答案标注好通俗类比像老师带学生做练习册——每道题都附标准答案做错了老师纠正。机器通过对照答案调整自己的判断规则。核心特征数据有标注label。典型场景图像分类这张图是猫还是狗→ 标注好的图库垃圾邮件识别这封是垃圾吗→ 人工标注房价预测特征真实成交价七、无监督学习自己摸索从混乱中发现结构通俗类比给孩子一堆混在一起的积木没人教他自己按颜色、形状分出几堆——这就是无监督学习从无标注数据中发现结构。核心特征数据无标注。典型场景用户聚类把行为相似的用户分群异常检测找出与众不同的那一个降维把高维数据压到能可视化的低维八、强化学习奖惩驱动做对了给糖吃通俗类比训小狗——做对了给零食做错了没奖励。小狗为了拿更多零食会越来越懂规矩。强化学习靠奖励信号驱动智能体在环境里试错。三个核心角色智能体Agent做决策的主体。环境Environment智能体交互的世界。奖励Reward每步动作后的反馈。大名鼎鼎的代表AlphaGo、ChatGPT 背后的 RLHF人类反馈强化学习都用到了它。可以说没有强化学习就没有现在会对话、懂礼貌的 ChatGPT。九、一张图串起 AI 知识体系8 个概念不是散落的它们有清晰的层级关系AI人工智能 │ 机器学习从数据找规律 ┌────────┼─────────┐ 有监督学习 无监督学习 强化学习 │ 深度学习多层神经网络 │ LLM大语言模型 ┌──┴──┐ Token Prompt记忆口诀机器学习是方法大类深度学习是用神经网络的方法LLM是用深度学习做的语言大模型。Token是 LLM 的输入单位Prompt是你写给 LLM 的输入内容。有监督 / 无监督 / 强化是机器学习的三种主要学习范式。十、可动手体验用 3 行代码摸到 Token光看概念不过瘾用 OpenAI 兼容接口的分词器3 行代码感受下 Token 到底是怎么切的绝大多数国产模型 API 也提供类似接口fromtiktokenimportget_encoding encget_encoding(cl100k_base)# GPT-4 系列常用分词器text大模型入门从Token开始tokensenc.encode(text)print(f原文{text})print(fToken 数{len(tokens)})print(fToken 序列{tokens})# 输出示例Token 数大概是 8-10 个中文每个字通常占 1-2 个 Token想看可视化效果可以去 OpenAI 官方的 Tokenizer 页面粘贴任意文字会高亮显示每个 Token 的切分边界——这是我见过最快的理解 Token的方式。系列导航 持续更新这是「108张AI知识卡片·大模型通关手册」系列的开篇。整套系列共 108 张卡片、22 篇笔记覆盖 AI 基础、Prompt 工程、RAG、Agent、模型微调部署、评测、安全、工程化等大模型开发者必经的全链路。建议先关注收藏跟着系列一篇篇走完你会拥有一张完整的大模型知识地图。下一篇预告大模型为什么越大越聪明参数规模 × 涌现行为 预训练 / SFT / RLHF 调教流水线全解析如果这篇对你有帮助点个收藏建立起 AI 基础坐标系后后续看任何技术文章都不会迷路。有问题欢迎在评论区交流我会逐条回复。