人工智能内容整理提纲
根据你提供的讲义内容，我将AIE1001 Introduction to AI Programming课程中关于人工智能（AI）的所有内容整理如下，涵盖Week 11的LLM核心内容，以及相关的编程基础：
🤖人工智能内容整理提纲
第一部分：大语言模型（Large Language Models, LLMs）
Week 11：Intro. to Large Language Models
1. 什么是大语言模型？
- 定义：基于Transformer架构，通过大量文本训练的AI系统
- 核心任务：下一个词预测（Next Token Prediction）
- 规模：参数从几十亿到万亿（3B, 7B, 36B, 480B, 1T等）
2. LLM如何工作？
- 输入处理：将文本转换为token序列
- 预测机制：基于当前上下文预测下一个最可能的token
- 概率分布：输出所有可能token的概率分布
3. 训练与学习过程
- 预训练（Pre-train）：海量无标签数据上训练
- 微调（Fine-tune）：有标签数据上调整
- RLHF（基于人类反馈的强化学习）：根据人类反馈优化输出
4. LLM的能力范围
- 文本理解与生成：问答、写作、翻译、总结
- 多模态能力：通过编码器-解码器处理图像、语音
- 代码生成：Tetris游戏只需一条指令
- 推理能力：DeepSeek-R1等模型的深度思考
5. 上下文工程（Context Engineering）
- 系统提示（System Prompt）：定义模型角色和行为（如Claude的2516词系统提示）
- 用户提示（User Prompt）：任务描述、细节、规则、输出风格
- 示例学习（In-context Learning）：通过提供示例让模型学习
- 外部资源整合：
- 检索增强生成（RAG）
- 工具使用（Tool Use）：搜索、日历、计算机操作
- 记忆管理：长对话历史处理
6. AI智能体（AI Agent）
- 定义：能够自主执行任务的AI系统
- 工作流程：观察→思考→行动→反馈循环
- 多智能体协作：多个Agent分工合作（如ChatDev）
- 挑战：长上下文处理、工具使用、规划能力
7. 模型生态
- 闭源模型：ChatGPT（OpenAI）、Claude（Anthropic）、Gemini（Google）
- 开源模型：LLaMA（Meta）、Mistral、Gemma（Google）
- 模型平台：Hugging Face（14万+模型）
8. 技术挑战
- 上下文窗口：从2K到2M+ token，但长上下文理解仍有限
- "迷失在中间"问题：模型更关注开头和结尾内容
- 幻觉（Hallucination）：生成看似合理但不准确的内容
第二部分：AI编程基础
Week 9 & 10：Data Structure and Algorithm
1. 算法分析
- 时间复杂度：大O表示法（O(1), O(log n), O(n), O(n log n), O(n²), O(2ⁿ)）
- 算法效率对比：多项式时间 vs 指数时间
- 实验分析：运行时间测量与可视化
2. 核心算法
- 搜索算法：二分查找（O(log n)）
- 排序算法：
- 冒泡排序（O(n²)）
- 快速排序（O(n log n)）- 分治法
- 递归算法：幂函数计算、二分查找实现
3. 数据结构
- 栈（Stack）：LIFO，用于括号匹配、HTML标签检查
- 队列（Queue）：FIFO，用于任务调度、网页服务模拟
- 链表（Linked List）：单链表、双向链表、循环链表
- 树（Tree）：层次结构，用于组织架构、表达式表示、路径搜索
4. 数据结构应用
- 栈应用：表达式求值、回溯算法
- 队列应用：缓冲区管理、广度优先搜索
- 链表应用：实现栈和队列、动态内存管理
- 树应用：决策树、文件系统、游戏AI
第三部分：面向对象编程与AI
Week 7 & 8：Object Oriented Programming
1. 封装与抽象
- 类抽象：隐藏实现细节，提供清晰接口
- 数据封装：私有数据字段、getter/setter方法
- 设计模式：模板、蓝图、契约概念
2. 可重用性与扩展性
- 继承：代码复用，is-a关系建模
- 多态：同一接口不同实现
- 模块化设计：便于AI系统集成和维护
第四部分：实践建议与学习资源
Week 11：学习指导
1. 基础技能
- 掌握数据结构、算法、线性代数、机器学习基础
- 持续编程实践，参与项目开发
- 学习使用LLM辅助编程和学习
2. 资源推荐
- 在线课程：Hung-yi Lee的生成式AI课程
- 学术平台：arXiv论文、GitHub开源项目
- 社区：关注AI领域专家和公司动态
- 实践平台：Hugging Face、Google Colab、本地部署
3. 未来趋势
- 更长上下文：从百万到千万级token
- 多模态融合：文本、图像、音频、视频统一处理
- 智能体普及：自主执行复杂任务的AI助手
- 开源vs闭源：两者并存，各有优势
🎯核心要点总结
- LLM是当前AI的核心，基于Transformer和下一个词预测
- 上下文工程是关键技能，决定AI应用的效果
- 数据结构与算法是基础，影响AI系统效率
- AI智能体是发展方向，能自主使用工具执行任务
- 持续学习和实践是跟上AI快速发展的唯一途径
如果需要我针对某一部分提供更详细的解释或示例，请告诉我！