Modern Agentic Systems: The Way Towards RSI

01 · 从 Transformer 到 ChatGPT

现代大模型的基础与演进

本节建立理解现代大模型与 Agent 所需的基础。

主要内容：

• Attention 与 Transformer
• Token、Embedding 与自回归生成
• GPT 的基本工作方式
• Pre-training 与 Scaling
• Instruction Tuning
• Supervised Fine-Tuning
• Preference Learning
• RLHF
• ChatGPT 为什么改变了 AI 的交互方式

核心问题：一个预测下一个 Token 的模型，为什么最终能够表现出通用语言能力？

02 · 从 ChatGPT 到推理模型

推理能力、思维链、测试时计算

这一部分讨论模型如何从“生成答案”进一步发展到“推理、规划与决策”。

主要内容：

• Chain-of-Thought
• Planning 与 Task Decomposition
• Verification 与 Self-Correction
• Test-Time Compute
• 面向推理的 Reinforcement Learning
• Reasoning Models
• Long Context
• Multimodal Reasoning
• 快速模型与深度推理模型的差异

能力演化：Generate → Reason → Decide

03 · 构建第一个 Agent

Tool Use、Function Calling 与行动

这是模型真正跨越到 Agent 的关键一步。

主要内容：

• Structured Output
• Function Calling / Tool Calling
• Schema 与 Constrained Generation
• API / CLI
• Computer Use / Code Execution
• Environment / Observation / Feedback
• Validation / Error Recovery / Termination

一个最小 Agent 可以近似理解为：Model + Tools + Environment + Feedback

04 · 上下文工程、记忆与 Agentic Search

Context、Memory、RAG 与搜索增强

当任务复杂度不断增加，单次 Prompt 已经无法容纳完成任务所需的全部信息；Agent 不仅需要看到当前信息，还需要保存过去的经验与状态；而在 Agentic System 中，Search 不再只是一个 Retrieval API，而是 Agent 自主控制的完整求证过程。

主要内容：

• Context Window、Context Selection / Packing / Compression、Compaction、Progressive Disclosure
• Working / Short-Term / Long-Term / Episodic / Semantic / Procedural Memory
• Memory Retrieval 与 Consolidation
• Web / Local / Database Search、RAG 与 Naive RAG 的局限
• Search Planning、Query Reformulation、Evidence Collection、Source Verification、Iterative Search

核心观点：Retrieval 是工具，Search 是一个 Agentic Process。

05 · 多 Agent 系统与协作

任务分解、通信机制与路由编排

当任务进一步复杂时，一个 Agent 往往需要将部分工作交给其他 Agent。

主要内容：

• Task Decomposition、Sub-Agents、Delegation
• Context Isolation、Shared Memory 与 Isolated Memory
• Planner / Worker、Specialist Agents、Critic / Judge / Verifier
• Parallel Agents、Result Aggregation
• Agent-to-Agent Communication、Multi-Model Multi-Agent Systems

能力演化：One Agent → System of Agents

核心问题：哪一种智能，应该在什么上下文中，解决哪一部分问题？

06 · Loop Engineering

循环工程：状态管理、容错与长期运行

现代 Agent 的核心不是一次模型调用，而是一个持续推进任务的执行循环：Observe → Decide → Act → Verify → Update → Repeat

主要内容：

• Observation、Decision、Action
• Verification、State Update
• Continue / Stop、Retry、Wait、Wake
• No-Progress Detection
• Long-Running Tasks、Human-in-the-Loop

能力演化：Agent Call → Agent Process

07 · Graph Engineering

图工程：任务图、条件分支与并行执行

复杂任务中会出现依赖关系、条件分支、并行执行和多 Agent 协作，因此需要 Graph 来表达任务结构。

主要内容：

• Task Graph、State Graph、Node、Transition
• Conditional Routing、Branching
• Fan-Out / Fan-In、Parallel Execution、Dependency Management
• Validation Nodes、Recovery Paths
• Graph 中的 Loop、Dynamic Graph Construction、Runtime Constraints

课程中的定义：Loop Engineering 提供系统的“运动”，Graph Engineering 提供系统的“结构”。 两者共同构成现代 Agentic System 的执行骨架。

08 · 主动式 Agent

事件驱动、持续运行、环境感知

传统 AI 通常遵循 Human Request → AI Response，而 Proactive Agent 更接近 Environment Changes → Agent Detects → Agent Decides → Agent Acts。

主要内容：

• Event-Driven Agent、Trigger、Monitor、Heartbeat
• Wake / Sleep、Persistent Task、Goal Persistence
• Environmental Awareness、Continuous Context
• Scheduled / Conditional Execution、Notification、Escalation
• Computer Environment、Cloud Computer、Cross-App Execution

核心观点：Proactive Agent 不需要一直生成 Token，它需要一直保持“能够对环境变化作出反应”。

能力演化：Prompt-Driven AI → Event-Driven AI

09 · Agent 的学习机制

上下文学习、记忆学习、系统学习

Agent 的“学习”可以发生在不同层级，而不只是修改模型参数：

• Context-Level Learning：In-Context Learning、Few-Shot Adaptation、Dynamic Instructions
• Memory-Level Learning：Experience Storage、Reflection、Retrieval、Procedural Memory
• System-Level Learning：Skill Acquisition、Tool Discovery、Prompt Optimization、Strategy Adaptation、Workflow Optimization
• Model-Level Learning：SFT、Preference Optimization、RLHF、DPO、PPO、GRPO-style RL、Trajectory Learning、Environment Feedback

课程强调：学习并不等于修改 Model Weight。 一个 Agentic System 可以通过改进 Context → Memory → Skill → Tool → Workflow → Policy → Model 中的任意一层持续变强。

10 · 自进化的 Agent

递归持续学习、自我改进与自动化训练

进一步的问题是：Agent 能不能利用自己的运行经验，持续改进构成自己的系统？

主要内容：

• Continuous Learning、Experience Accumulation
• Automated Evaluation、Reflection
• Skill Acquisition、Tool Creation、Workflow Generation
• Agent-Generated Data、Synthetic Experience
• Automated Post-Training
• System Improvement Loop、Model Improvement Loop、Recursive Improvement

可能形成的自我改进链条：Prompt → Memory → Skill → Tool → Workflow → Agent → Model → Training Process

最终，一个 Agent 不只是完成任务，还可能参与改进下一代 Agent 的构建过程。

11 · 现代 Agentic System 与 RSI

完整架构、前沿趋势与未来展望

课程最后会把前面的模块重新组合成一个完整的 Agentic System。一个现代 Agentic System 可能同时包含：

• Foundation Models、Reasoning Models、Realtime Models
• Decision / Judgment Models
• Tool Use、Computer Use
• Context Engineering、Memory、Agentic Search
• Data Infrastructure
• Multi-Agent Systems
• Loop Engineering、Graph Engineering、Harness
• Proactive Execution
• Evaluation、Continuous Learning、Recursive Improvement

最终讨论的技术演化路径：LLM → Agent → Agentic System → Proactive Agent → Learning Agent → Self-Evolving Agent → RSI

核心问题：当一个 Agent 不仅能够完成任务，而且能够持续改进构成自身的系统时，会发生什么？