SDSC6007 课程 4-马尔可夫决策过程
#sdsc6007 English / 中文 强化学习的元素 强化学习包含以下五个核心元素： 智能体与环境：智能体执行动作，环境返回观测和奖励 奖励信号：标量反馈信号，指示智能体在时间t的表现 策略：描述智能体行为，是从状态到动作的映射 价值函数：预测预期未来奖励（在特定策略下） 模型：预测环境的行为/回报 智能体与环境的交互 在每个时间步t： 智能体执行动作 AtA_tAt，接收观测 OtO_tOt 和标量奖励 RtR_tRt 环境接收动作 AtA_tAt，发出观测 Ot+1O_{t+1}Ot+1 和标量奖励 Rt+1R_{t+1}Rt+1 历史是观测、动作和奖励的序列： Ht=O1,R1,A1,…,At−1,Ot,RtH_t = O_1, R_1, A_1, \ldots, A_{t-1}, O_t, R_t Ht=O1,R1,A1,…,At−1,Ot,Rt 状态的定义 状态 StS_tSt 是马尔可夫的，当且仅当它包含历史中的所有有用信息： P(St+1∣St)=P(St+1∣S1,…,St)P(S_{t+1}...
SDSC6015 - Question of Assignment 1
#assignment #sdsc6015 作业初稿 SDSC6015 - Assignment 1 Problem 1: Jensen’s inequality Let f be convex, x1,…,xm∈dom(f),λ1,…,λm∈R+x_{1},\ldots, x_{m}\in\operatorname{dom}(f),\lambda_{1},\ldots,\lambda_{m}\in R_{+}x1,…,xm∈dom(f),λ1,…,λm∈R+ such that ∑i=1mλi=1\sum_{i=1}^{m}\lambda_{i}=1∑i=1mλi=1 . Show that f(∑i=1mλixi)≤∑i=1mλif(xi)f\left( \sum_{i=1}^m \lambda_i x_i \right) \leq \sum_{i=1}^m \lambda_i f(x_i) f(i=1∑mλixi)≤i=1∑mλif(xi) Proof. 对于m=2m=2m=2: 令 λ1+λ2=1\lambd...
SDSC6015 - Assignment 1
SDSC6015 - Assignment 1 #assignment #sdsc6015 Problem 1: Jensen’s inequality Let f be convex, x1,…,xm∈dom(f),λ1,…,λm∈R+x_{1},\ldots, x_{m}\in\operatorname{dom}(f),\lambda_{1},\ldots,\lambda_{m}\in R_{+}x1,…,xm∈dom(f),λ1,…,λm∈R+ such that ∑i=1mλi=1\sum_{i=1}^{m}\lambda_{i}=1∑i=1mλi=1 . Show that f(∑i=1mλixi)≤∑i=1mλif(xi)f\left( \sum_{i=1}^m \lambda_i x_i \right) \leq \sum_{i=1}^m \lambda_i f(x_i) f(i=1∑mλixi)≤i=1∑mλif(xi) Proof. For m=2m=2m=2: Let λ1+λ2=1\lambda_1 + \lambda_2 =...
SDSC6007 - Question of Assignment 1
#assignment #sdsc6007
SDSC5003 - Question of Assignment 1
#assignment #sdsc5003 原文 NOTE: The university policy on academic dishonesty and plagiarism (cheating) will be taken very seriously in this course. Everything submitted should be your own writing or coding. You must not let other students copy your work. Discussions of the assignment are okay, e.g. understanding the concepts involved. This assignment is an individual one. Upload your work as a single archive file with name A1-XXXX-YYYY.zip where XXXX is your name and YYYY is your student ID. ...
SDSC5003 - Assignment 1
SDSC5003 - Assignment1 #assignment #sdsc5003 Part I. ER Modelling Part II: Creating Relational Schemas in SQL for Part I SQL scripts 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273-- Create customer tableCREATE TABLE Customer ( cid TEXT PRIMARY KEY NOT NULL, cname TEXT NOT NULL);-- Create company customer tableCREATE TABLE Company ( cid TEXT PRIMARY KEY NOT NULL, street TEXT NOT NULL, ci...
SDSDC5002 - Question of Assignment 1
#assignment #sdsc5002
SDSC5001 - Assignment 1
SDSC5001 - Assignment 1 #assignment #sdsc5001 1. For each of parts(a) through(d), indicate whether we would generally expect the performance of a flexible statistical learning method to be better or worse than an inflexible method. Justify your answer. (a) The sample size n is extremely large, and the number of predictors p is small. Better. With a large amount of data, complex models (flexible methods) have a lower risk of overfitting and can better learn the underlying patterns. (b) The nu...
SDSC5001 - Question of Assignment 1
#assignment #sdsc5001
SDSC6007 Course Information
#sdsc6007 #course information English / 中文 Course Overview Course Code: SDSC6007 & SDSC8006 Course Name: Dynamic Programming and Reinforcement Learning Semester: First Semester, 2025 Academic Year Instructor: Clint Chin Pang Ho Email: client.ho@cityu.edu.hk Office: LAU-16-228 Consultation Hours: By appointment Teaching Assistants (TAs): Yanbo He (yanbohe3-c@my.cityu.edu.hk) Ellen Yi Wong (ywong692-c@my.cityu.edu.hk) Yuqi Zha (charlie.yqzha@my.cityu.edu.hk) Assessment Component ...
SDSC6007 课程信息
#SDSC6007 #course information English / 中文 课程概览 课程代码: SDSC6007 & SDSC8006 课程名称: 动态规划与强化学习 学期: 2025学年第一学期 授课教师: Clint Chin Pang Ho 邮箱: client.ho@cityu.edu.hk 办公室: LAU-16-228 答疑时间: 需预约 助教 (TAs): Yanbo He (yanbohe3-c@my.cityu.edu.hk) Ellen Yi Wong (ywong692-c@my.cityu.edu.hk) Yuqi Zha (charlie.yqzha@my.cityu.edu.hk) 考核方式 组成部分 权重 详情 作业 20% 两次作业（每次10%）。通过Canvas在线提交，格式为.pdf、.py、.mp4、.txt。 期中考试 20% 闭卷考试。 小组项目 30% 一个小组项目。详情见下文。 期末考试 30% 闭卷考试。 逾期提交政策: 若逾期 ( ttt ) 天 (( t&g...
SDSC5003 课程信息
#sdsc5003 #course information English / 中文 课程概览 课程代码: SDSC5003 课程名称: 数据库系统导论 学期: 2025/26 学年第一学期 授课教师: Yu Yang (yuyang@cityu.edu.hk) Terence Chan (terenceChan@cityu.edu.hk) 教学模式: 面授 答疑时间: 待定 (TBA) 助教: 未指定 考核方式 考核组成部分 权重 说明 个人作业 30% 独立完成的作业任务 期末考试 50% 考试时间为12月8日至20日 小组项目 20% 3-5人一组，分为Track 1（应用开发）或Track 2（论文复现） ↳ 源代码 30%* 项目代码、数据库 schema、测试脚本等（提交至GitHub） ↳ 视频演示 20%* 5-8分钟视频演示应用功能或论文复现过程 ↳ 书面报告 50%* PDF报告，包含小组信息、技术设计、评估结果等 时间安排与教学 周数 日期 (示例) 活动 内容 截止日期 1 2025-09-...
SDSC5002 Course Information
#sdsc5002 #course information English / 中文 Course Overview Course Code: SDSC5002C61 Course Name: Exploratory Data Analysis and Visualization Semester: First Semester, 2025/26 Academic Year Instructor: Professor Wang Lijia Email: lijiwang@cityu.edu.hk Office: Room 16-272, Lau Pak Here Building Lecture Time: To be specified (please check Canvas for updates) Office Hours: To be specified Teaching Mode: Face-to-face Teaching Assistants: Li Minghe (mingheli2-c@my.cityu.edu.hk) responsible for T...
SDSC5002 课程信息
#SDSC5002 #course information English / 中文 课程概览 课程代码: SDSC5002C61 课程名称: 探索性数据分析与可视化 学期: 2025/26 学年第一学期 授课教师: 王立佳教授 邮箱: lijiwang@cityu.edu.hk 办公室: 刘璧如楼 16-272 室 授课时间: 未指定（请查看Canvas更新） 答疑时间: 未指定 教学模式: 面授 助教: 李明和 (mingheli2-c@my.cityu.edu.hk) 负责 Tableau 尹彦新 (wl.z@cityu.edu.hk) 负责 Python 考核方式 考核项目 描述 权重或分数 小组项目 需4-8人组队，在周11-13进行演示，评估团队合作和数据分析能力。 40% 个人课程作业 基于作业表现评分，注重个人实践技能。 25% 测验 按时提交得2分，延迟提交得1分，考核及时参与和理解。 点数制（贡献总体评分） 作业 基于性能评分，满分10分，评估具体任务完成质量。 10点 中期考试 在周10举行，无期末考试，测试理论知识...
SDSC5001 Course Information
#sdsc5001 #course information English / 中文 SDSC5001Course Overview Course Code: SDSC5001 Course Name: Statistical Machine Learning I Semester: First Semester, 2025/26 Academic Year Instructor: Professor Xingyu Guo Email: xingyguo@cityu.edu.hk Office: Room 4462, Mong Man Wai Building Lecture Time: Saturday 9:00 – 11:50 Consultation Hours: Monday 16:00 – 17:00 Teaching Mode: Face-to-face Teaching Assistants: Lin Jiajun (jiajunlin4-c@my.cityu.edu.hk) Li Xiaopeng (Lee.Xiao-Peng@my.city...
SDSC5001 课程信息
#sdsc5001 #course information English / 中文 课程概览 课程代码: SDSC5001 课程名称: 统计机器学习 I 学期: 2025/26 学年第一学期 授课教师: 郭兴宇教授 邮箱: xingyguo@cityu.edu.hk 办公室: 蒙民伟楼 4462 室 授课时间: 周六 9:00 – 11:50 答疑时间: 周一 16:00 – 17:00 教学模式: 面授 助教: 林家俊 (jiajunlin4-c@my.cityu.edu.hk) 李晓鹏 (Lee.Xiao-Peng@my.cityu.edu.hk) 考核方式 组成部分 权重 详情 作业 20% 3次作业==（不计分但必须提交）==。逾期提交将扣分。 期中考试 10% 第8周（10月25日）。闭卷；允许携带1张A4笔记。 项目 20% 小组作业（4-5人）。详见上文。 期末考试 50% 覆盖全部内容。闭卷；允许携带1张A4笔记。 时间安排与教学 周数 日期 活动 内容 截止日期 1 9月6日 讲座 课程概...
SDSC6015 课程 3-更快的梯度下降与次梯度下降
#sdsc6015 English / 中文 回顾 点击展开 凸优化问题 凸优化问题的一般形式为： minx∈Rdf(x)\min_{x \in \mathbb{R}^d} f(x) x∈Rdminf(x) 其中 fff 是凸函数，Rd\mathbb{R}^dRd 是凸集，x∗x^*x∗ 是其最小化点： x∗=argminx∈Rdf(x)x^* = \arg\min_{x \in \mathbb{R}^d} f(x) x∗=argx∈Rdminf(x) 梯度下降（Gradient Descent, GD）的更新规则为： xk+1=xk−ηk+1∇f(xk)x_{k+1} = x_k - \eta_{k+1} \nabla f(x_k) xk+1=xk−ηk+1∇f(xk) xkx_kxk：当前参数点 ηk>0\eta_k > 0ηk>0：步长（学习率） xk+1x_{k+1}xk+1：更新后的参数点 平滑函数（Smooth Functions） 定义： 若函数 f:dom(f)→Rf: \text{dom}(f) \to...
SDSC6007 Course 2-Shortest Path Problems (SPP)
#sdsc6007 English / 中文 Shortest Path Problems (SPP) Problem Definition Given node set {1,2,…,N,t}\{1,2,\dots,N,t\}{1,2,…,N,t} (ttt=destination), aija_{ij}aij: Cost from node iii to jjj (aij=∞a_{ij} = \inftyaij=∞ if no direct path) Key assumption: All cycles have non-negative cost (∀ cycles i→j1→⋯→jk→i, total cost≥0\forall \text{ cycles } i \to j_1 \to \cdots \to j_k \to i,\ \text{total cost} \geq 0∀ cycles i→j1→⋯→jk→i, total cost≥0) Goal: Find min-cost path from any iii to ttt Sig...
SDSC6015 Course Information
#sdsc6015 #course information English / 中文 Course Overview Course Code: SDSC6015 Course Name: Stochastic Optimization for Machine Learning Semester: 2025-26, Semester A Instructor: Dr. Lu Yu Email: lu.yu@cityu.edu.hk Office: LAU 16-279 Lecture Time: Thursday 19:00 – 21:50 Lecture Location: CMC Building, M3017 Office Hours: To Be Announced (TBA) Teaching Assistants: Xinnian Yang (xinniyang2-c@my.cityu.edu.hk) Zhiyou Wu (zhiyouwu2-c@my.cityu.edu.hk) Assessment Scheme Component We...
作业清单
#作业清单 5001 暂无 5002 HW-1 (03/10/2025 23:30) Project Proposal (29/10/2025 23:30) 5003 Assignment 1 (03/10/2025 24:00) 注意：大学关于学术不端和抄袭（作弊）的政策在本课程中将受到高度重视。所有提交内容必须是您自己的写作或代码。您不得让其他学生复制您的作品。讨论作业是可以的，例如理解相关概念。本作业为个人作业。请将您的作品打包为一个名为 A1-XXXX-YYYY.zip 的压缩文件上传，其中 XXXX 是您的姓名，YYYY 是您的学号。请确保压缩文件中包含所有文件。 第一部分：ER建模（50分） 提交由绘图程序绘制的图表（可使用任何您喜欢的程序，例如来自 实体关系模型工具 的 ER 绘图工具），不接受手绘图。如果您对某些设计选择不确定，可以添加解释说明。将您的图表和可选解释上传到一个名为 pdf 的 PDF 文件中。 绘制一个单一的 ER 图来表示以下规格说明： 一家银行企业需要存储客户（由 cid 标识，属性包括 cname）和账户（由 ai...
SDSC6015 Course 3-Faster Gradient Descent and Subgradient Descent
#sdsc6015 English / 中文 Review Click to expand Convex Optimization Problems The general form of a convex optimization problem is: minx∈Rdf(x)\min_{x \in \mathbb{R}^d} f(x) x∈Rdminf(x) where fff is a convex function, Rd\mathbb{R}^dRd is a convex set, and x∗x^*x∗ is its minimizer: x∗=argminx∈Rdf(x)x^* = \arg\min_{x \in \mathbb{R}^d} f(x) x∗=argx∈Rdminf(x) The update rule for Gradient Descent (GD) is: xk+1=xk−ηk+1∇f(xk)x_{k+1} = x_k - \eta_{k+1} \nabla f(x_k) xk+1=xk−ηk+1∇f(xk) xkx_kx...
SDSC6012 课程 3-理论与实现
#sdsc6012 English / 中文 时间序列基础理论 时间序列定义与性质 时间序列是按时间顺序排列的随机变量序列，记为 {Xt:t∈T}\{X_t: t \in T\}{Xt:t∈T}，其中 TTT 为时间索引集。在实际应用中，TTT 通常为离散集合（如 T={0,1,2,…}T = \{0, 1, 2, \ldots\}T={0,1,2,…}）。 核心概念：时间序列分析旨在揭示序列内部的动态依赖关系，并基于历史数据建立预测模型。 示例数据表 1234567891011121314import pandas as pddata = { 'Date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04', '2023-01-05', '2023-01-06', '2023-01-07', '2023...
SDSC6015 课程 2-梯度下降与次梯度下降方法
#sdsc6015 English / 中文 回顾 - 凸函数与凸优化 点击展开 凸函数定义 回顾 函数 f:Rd→Rf: \mathbb{R}^d \to \mathbb{R}f:Rd→R 是凸函数当且仅当： 定义域 dom(f)\text{dom}(f)dom(f) 是凸集； 对所有 x,y∈dom(f)\mathbf{x}, \mathbf{y} \in \text{dom}(f)x,y∈dom(f) 和 λ∈[0,1]\lambda \in [0,1]λ∈[0,1]，满足： f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y)f(\lambda \mathbf{x} + (1-\lambda)\mathbf{y}) \leq \lambda f(\mathbf{x}) + (1-\lambda)f(\mathbf{y}) f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y) 几何意义：函数图像上任意两点间的线段位于图像上方。 一阶凸性判定 回顾 若 fff 可微，则凸性等价于： f(y)≥f(x)+∇f(x)⊤(y−x),∀x...
SDSC6015 Course 2-Gradient Descent Method and Subgradient Method
#sdsc6015 English / Chinese Review - Convex Functions and Convex Optimization Review Definition of Convex Functions Review A function f:Rd→Rf: \mathbb{R}^d \to \mathbb{R}f:Rd→R is convex if and only if: Its domain dom(f)\text{dom}(f)dom(f) is a convex set; For all x,y∈dom(f)\mathbf{x}, \mathbf{y} \in \text{dom}(f)x,y∈dom(f) and λ∈[0,1]\lambda \in [0,1]λ∈[0,1], it satisfies: f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y)f(\lambda \mathbf{x} + (1-\lambda)\mathbf{y}) \leq \lambda f(\mathbf{x}) + (1-\lam...
总课表
.timetable-container * { box-sizing: border-box; margin: 0; padding: 0; } .timetable-container { font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif; line-height: 1.6; color: #333; max-width: 100%; overflow-x: auto; } .timetable-controls { display: flex; justify-content: center; margin-bottom: 20px; ...