迷麟の小站

#SDSC5002 #course information English / 中文 课程概览 课程代码: SDSC5002C61 课程名称: 探索性数据分析与可视化 学期: 2025/26 学年第一学期 授课教师: 王立佳教授 邮箱: lijiwang@cityu.edu.hk 办公室: 刘璧如楼 16-272 室 授课时间: 未指定（请查看Canvas更新） 答疑时间: 未指定 教学模式: 面授 助教: 李明和 (mingheli2-c@my.cityu.edu.hk) 负责 Tableau 尹彦新 (wl.z@cityu.edu.hk) 负责 Python 考核方式 考核项目 描述 权重或分数 小组项目 需4-8人组队，在周11-13进行演示，评估团队合作和数据分析能力。 40% 个人课程作业 基于作业表现评分，注重个人实践技能。 25% 测验 按时提交得2分，延迟提交得1分，考核及时参与和理解。 点数制（贡献总体评分） 作业 基于性能评分，满分10分，评估具体任务完成质量。 10点 中期考试 在周10举行，无期末考试，测试理论知识...

#sdsc5001 #course information English / 中文 SDSC5001Course Overview Course Code: SDSC5001 Course Name: Statistical Machine Learning I Semester: First Semester, 2025/26 Academic Year Instructor: Professor Xingyu Guo Email: xingyguo@cityu.edu.hk Office: Room 4462, Mong Man Wai Building Lecture Time: Saturday 9:00 – 11:50 Consultation Hours: Monday 16:00 – 17:00 Teaching Mode: Face-to-face Teaching Assistants: Lin Jiajun (jiajunlin4-c@my.cityu.edu.hk) Li Xiaopeng (Lee.Xiao-Peng@my.city...

#sdsc5001 #course information English / 中文 课程概览 课程代码: SDSC5001 课程名称: 统计机器学习 I 学期: 2025/26 学年第一学期 授课教师: 郭兴宇教授 邮箱: xingyguo@cityu.edu.hk 办公室: 蒙民伟楼 4462 室 授课时间: 周六 9:00 – 11:50 答疑时间: 周一 16:00 – 17:00 教学模式: 面授 助教: 林家俊 (jiajunlin4-c@my.cityu.edu.hk) 李晓鹏 (Lee.Xiao-Peng@my.cityu.edu.hk) 考核方式 组成部分 权重 详情 作业 20% 3次作业==（不计分但必须提交）==。逾期提交将扣分。 期中考试 10% 第8周（10月25日）。闭卷；允许携带1张A4笔记。 项目 20% 小组作业（4-5人）。详见上文。 期末考试 50% 覆盖全部内容。闭卷；允许携带1张A4笔记。 时间安排与教学 周数 日期 活动 内容 截止日期 1 9月6日 讲座 课程概...

#sdsc6015 English / 中文 回顾 点击展开 凸优化问题 凸优化问题的一般形式为： min⁡x∈Rdf(x)\min_{x \in \mathbb{R}^d} f(x) x∈Rdmin​f(x) 其中 fff 是凸函数，Rd\mathbb{R}^dRd 是凸集，x∗x^*x∗ 是其最小化点： x∗=arg⁡min⁡x∈Rdf(x)x^* = \arg\min_{x \in \mathbb{R}^d} f(x) x∗=argx∈Rdmin​f(x) 梯度下降（Gradient Descent, GD）的更新规则为： xk+1=xk−ηk+1∇f(xk)x_{k+1} = x_k - \eta_{k+1} \nabla f(x_k) xk+1​=xk​−ηk+1​∇f(xk​) xkx_kxk​：当前参数点 ηk>0\eta_k > 0ηk​>0：步长（学习率） xk+1x_{k+1}xk+1​：更新后的参数点 平滑函数（Smooth Functions） 定义： 若函数 f:dom(f)→Rf: \text{dom}(f) \to...

#sdsc6007 English / 中文 Shortest Path Problems (SPP) Problem Definition Given node set {1,2,…,N,t}\{1,2,\dots,N,t\}{1,2,…,N,t} (ttt=destination), aija_{ij}aij​: Cost from node iii to jjj (aij=∞a_{ij} = \inftyaij​=∞ if no direct path) Key assumption: All cycles have non-negative cost (∀ cycles i→j1→⋯→jk→i, total cost≥0\forall \text{ cycles } i \to j_1 \to \cdots \to j_k \to i,\ \text{total cost} \geq 0∀ cycles i→j1​→⋯→jk​→i, total cost≥0) Goal: Find min-cost path from any iii to ttt Sig...

#sdsc6015 #course information English / 中文 Course Overview Course Code: SDSC6015 Course Name: Stochastic Optimization for Machine Learning Semester: 2025-26, Semester A Instructor: Dr. Lu Yu Email: lu.yu@cityu.edu.hk Office: LAU 16-279 Lecture Time: Thursday 19:00 – 21:50 Lecture Location: CMC Building, M3017 Office Hours: To Be Announced (TBA) Teaching Assistants: Xinnian Yang (xinniyang2-c@my.cityu.edu.hk) Zhiyou Wu (zhiyouwu2-c@my.cityu.edu.hk) Assessment Scheme Component We...

#作业清单 5001 暂无 5002 HW-1 (03/10/2025 23:30) Project Proposal (29/10/2025 23:30) 5003 Assignment 1 (03/10/2025 24:00) 注意：大学关于学术不端和抄袭（作弊）的政策在本课程中将受到高度重视。所有提交内容必须是您自己的写作或代码。您不得让其他学生复制您的作品。讨论作业是可以的，例如理解相关概念。本作业为个人作业。请将您的作品打包为一个名为 A1-XXXX-YYYY.zip 的压缩文件上传，其中 XXXX 是您的姓名，YYYY 是您的学号。请确保压缩文件中包含所有文件。 第一部分：ER建模（50分） 提交由绘图程序绘制的图表（可使用任何您喜欢的程序，例如来自 实体关系模型工具 的 ER 绘图工具），不接受手绘图。如果您对某些设计选择不确定，可以添加解释说明。将您的图表和可选解释上传到一个名为 pdf 的 PDF 文件中。 绘制一个单一的 ER 图来表示以下规格说明： 一家银行企业需要存储客户（由 cid 标识，属性包括 cname）和账户（由 ai...

#sdsc6015 English / 中文 Review Click to expand Convex Optimization Problems The general form of a convex optimization problem is: min⁡x∈Rdf(x)\min_{x \in \mathbb{R}^d} f(x) x∈Rdmin​f(x) where fff is a convex function, Rd\mathbb{R}^dRd is a convex set, and x∗x^*x∗ is its minimizer: x∗=arg⁡min⁡x∈Rdf(x)x^* = \arg\min_{x \in \mathbb{R}^d} f(x) x∗=argx∈Rdmin​f(x) The update rule for Gradient Descent (GD) is: xk+1=xk−ηk+1∇f(xk)x_{k+1} = x_k - \eta_{k+1} \nabla f(x_k) xk+1​=xk​−ηk+1​∇f(xk​) xkx_kx...

#sdsc6012 English / 中文 时间序列基础理论 时间序列定义与性质 时间序列是按时间顺序排列的随机变量序列，记为 {Xt:t∈T}\{X_t: t \in T\}{Xt​:t∈T}，其中 TTT 为时间索引集。在实际应用中，TTT 通常为离散集合（如 T={0,1,2,…}T = \{0, 1, 2, \ldots\}T={0,1,2,…}）。 核心概念：时间序列分析旨在揭示序列内部的动态依赖关系，并基于历史数据建立预测模型。 示例数据表 1234567891011121314import pandas as pddata = { 'Date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04', '2023-01-05', '2023-01-06', '2023-01-07', '2023...

#sdsc6015 English / 中文 回顾 - 凸函数与凸优化 点击展开 凸函数定义 回顾 函数 f:Rd→Rf: \mathbb{R}^d \to \mathbb{R}f:Rd→R 是凸函数当且仅当： 定义域 dom(f)\text{dom}(f)dom(f) 是凸集； 对所有 x,y∈dom(f)\mathbf{x}, \mathbf{y} \in \text{dom}(f)x,y∈dom(f) 和 λ∈[0,1]\lambda \in [0,1]λ∈[0,1]，满足： f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y)f(\lambda \mathbf{x} + (1-\lambda)\mathbf{y}) \leq \lambda f(\mathbf{x}) + (1-\lambda)f(\mathbf{y}) f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y) 几何意义：函数图像上任意两点间的线段位于图像上方。 一阶凸性判定 回顾 若 fff 可微，则凸性等价于： f(y)≥f(x)+∇f(x)⊤(y−x),∀x...

#sdsc6015 English / Chinese Review - Convex Functions and Convex Optimization Review Definition of Convex Functions Review A function f:Rd→Rf: \mathbb{R}^d \to \mathbb{R}f:Rd→R is convex if and only if: Its domain dom(f)\text{dom}(f)dom(f) is a convex set; For all x,y∈dom(f)\mathbf{x}, \mathbf{y} \in \text{dom}(f)x,y∈dom(f) and λ∈[0,1]\lambda \in [0,1]λ∈[0,1], it satisfies: f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y)f(\lambda \mathbf{x} + (1-\lambda)\mathbf{y}) \leq \lambda f(\mathbf{x}) + (1-\lam...

.timetable-container * { box-sizing: border-box; margin: 0; padding: 0; } .timetable-container { font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif; line-height: 1.6; color: #333; max-width: 100%; overflow-x: auto; } .timetable-controls { display: flex; justify-content: center; margin-bottom: 20px; ...

#sdsc5001 English / 中文 Comparison of Terminology Between Statistics and Machine Learning Statistics Machine Learning Classification/RegressionClusteringClassification/Regression with missing responses(Nonlinear) Dimensionality Reduction Supervised LearningUnsupervised LearningSemi-supervised LearningManifold Learning Covariates/Response VariablesSample/PopulationStatistical ModelMisclassification/Prediction Error Features/OutcomeTraining Set/Test SetLearnerGeneralization Error Mul...

#sdsc5001 English / 中文 统计学与机器学习的术语对比 统计学 机器学习 分类/回归聚类含缺失响应的分类/回归(非线性)降维 监督学习无监督学习半监督学习流形学习 协变量/响应变量样本/总体统计模型误分类/预测误差 特征/结果训练集/测试集学习器泛化误差 多类逻辑函数截断线性函数 Softmax函数ReLU(线性整流单元) 关键说明：两个领域使用不同术语描述相似概念，但核心思想相通。例如统计学的"协变量"对应机器学习的"特征"。 实际应用案例 工资预测案例 任务：理解员工工资与多个因素之间的关联关系 数据来源：基于美国大西洋地区男性员工收集的数据集 垃圾邮件检测案例 任务：构建能够自动检测垃圾邮件的过滤器 数据表示： 观测值 make% address% … 总大写字母数 是否为垃圾邮件 1 0 0.64 … 278 1(是) 2 0.21 0.28 … 1028 1(是) 3 0 0 … 7 0(否) … … … … … … 4600 0.3 0 … 7...

#sdsc5001 English / 中文 Data Definition Data is a collection of data objects and their attributes. Data objects are also called records, points, samples, entities, or instances. Attributes are properties or characteristics of objects, such as age, height, weight, education level, etc. Attributes are also called variables, fields, features. For example, a dataset about people might include attributes like ‘age’, ‘height’, etc. Data Types 1. Continuous Variable e.g., length, time, c...

#sdsc5001 English / 中文 数据定义 数据是 数据对象（data objects） 及其 属性（attributes） 的集合。 数据对象也称为记录、点、样本、实体或实例。 属性是对象的性质或特征，例如年龄、身高、体重、教育程度等。 属性也称为变量、字段、特征。 例如，一个关于人的数据集可能包含“年龄”、“身高”等属性。 数据类型 1. 连续变量（Continuous Variable） 例如：长度、时间、计数、重量、高度。 取值是连续的数值。 2. 名义变量 / 分类变量（Nominal / Categorical Variable） 例如：种族、性别、婚姻状况、眼睛颜色。 取值是离散的类别，没有顺序关系。 3. 序数变量（Ordinal Variable） 例如：年龄组（儿童、青年、成人、老年）、字母等级、满意度评分（不喜欢、中立、喜欢）。 取值有顺序，但没有明确的数值间隔。 4. 区间变量（Interval Variable） 例如：温度、工资范围。 取值是数值，且有明确的间隔意义。 ...

#sdsc5001 English / 中文 Population and Sample Population: Refers to the entire set of individuals from which we attempt to draw conclusions. Sample: Refers to a subset observed from the population. Relationship: Samples are used to infer characteristics of the population; the core of statistics and machine learning is to estimate or predict population parameters based on sample data. For example, in a coin toss experiment, the population is all possible coin toss outcomes, while the s...

#sdsc5001 English / 中文 总体与样本 总体（Population）：研究对象的完整集合 样本（Sample）：从总体中抽取的部分观察对象 关系：通过样本推断总体特征是统计与机器学习的核心 例如抛硬币实验中，总体是所有可能的抛硬币结果，样本是实际观察到的10,000次抛硬币结果 概率基础 实验（Experiment）：任何产生观察结果的过程 样本空间（Sample Space）：实验所有可能结果的集合，记为 SSS 事件（Event）：样本空间 SSS 的子集 示例：掷六面骰子 实验：掷骰子 样本空间 S={1,2,3,4,5,6}S = \{1, 2, 3, 4, 5, 6\}S={1,2,3,4,5,6} 事件"得到偶数"：{2,4,6}\{2, 4, 6\}{2,4,6} 集合运算 给定事件 AAA 和 BBB： A∪BA \cup BA∪B：AAA 与 BBB 的并集 A∩BA \cap BA∩B：AAA 与 BBB 的交集 A′A'A′：AAA 的补集 ...

#sdsc6012 English / 中文 Fundamentals of Time Series Theory Definition and Properties of Time Series Time series is a sequence of random variables arranged in chronological order, denoted as {Xt:t∈T}\{X_t: t \in T\}{Xt​:t∈T}, where TTT is the time index set. In practical applications, TTT is typically a discrete set (e.g., T={0,1,2,…}T = \{0, 1, 2, \ldots\}T={0,1,2,…}). Core Concept: Time series analysis aims to reveal internal dynamic dependencies within the sequence and build predictive mode...

#sdsc6012 English / 中文 Components and Decomposition of Time Series A time series typically consists of three components: Trend Component: Long-term direction of change Seasonal Component: Fluctuations with fixed periods Random Noise: Unexplained random fluctuations Using Python’s Matplotlib and NumPy libraries, one can generate and visualize the combined effects of these components. Key Statistics: Measuring Dependence Mean Function μt=E(xt)=∫−∞∞xft(x)dx\mu_t=E\left(x_t\right)=\int...

#sdsc6012 English / 中文 时间序列的构成与分解 一个时间序列通常包含三个成分： 趋势成分 (Trend)：长期变化方向 季节性成分 (Seasonality)：固定周期的波动 随机噪声 (Noise)：无法解释的随机波动 通过Python的Matplotlib和NumPy库可以生成并可视化这些成分的组合效果。 关键统计量：衡量依赖性 均值函数 (Mean Function) μt=E(xt)=∫−∞∞xft(x)dx\mu_t=E\left(x_t\right)=\int_{-\infty}^{\infty} x f_t(x) d x μt​=E(xt​)=∫−∞∞​xft​(x)dx 表示时间序列在时刻 ttt 的平均水平 对连续随机变量，通过概率密度函数 f(x)f(x)f(x) 积分计算 自协方差函数 (Autocovariance Function) γ(s,t)=Cov⁡(xs,xt)=E[(xs−μs)(xt−μt)]\gamma(s, t)=\operatorname{Cov}\left(x_{s}, x_{t}...

#sdsc6012 English / 中文 Time Series Definition Core Concepts A time series is a sequence of data points indexed in chronological order. Application Areas: Economics: Daily stock prices, GDP, monthly unemployment rate Social Sciences: Population, birth rate, enrollment rate Epidemiology: Number of flu cases, mortality rate Medicine: Blood pressure monitoring, fMRI data Natural Sciences: Global temperature, monthly sunspot observations Supplementary Note: Time series are observational r...

#sdsc6012 English/ 中文 时间序列定义 核心概念 时间序列是按时间顺序索引的数据点序列。 应用领域： 经济学：每日股价、GDP、月度失业率 社会科学：人口、出生率、入学率 流行病学：流感病例数、死亡率 医学：血压监测、fMRI数据 自然科学：全球温度、月度太阳黑子观测 补充说明：时间序列是现实世界动态过程的观测记录，核心特征是数据点按时间戳排序。 时间序列分析目标 分析意义 描述与解释：理解序列生成机制（如趋势/季节性） 例：分析气温序列中的长期变暖趋势 预测：预测未来值 例：预测下季度失业率 控制：评估干预措施影响 例：货币政策对失业率的影响 假设检验：验证理论模型 例：检验全球变暖假设 时间序列模型 基本分解模型 xt=mt+st+etx_t = m_t + s_t + e_t xt​=mt​+st​+et​ 公式解释： xtx_txt​：时间 ttt 的观测值 mtm_tmt​：趋势项（长期变化趋势） sts_tst​：季节项（周期性变化规则） ete_tet​：残差项（随机波动/噪声） 随...

#sdsc5002 English / 中文 Data Fundamentals What is Data? Data are values obtained by measuring certain variables from individuals (people, objects, etc.). Types of Variables Categorical Variables (Qualitative) Examples: Gender, blood type, disease status If categories can be ordered, they are called ordinal categorical variables (e.g., course grades, COVID-19 severity) Numerical Variables (Quantitative) Examples: Height, weight, age, income, blood pressure Only numerical variables supp...

#sdsc5002 English / 中文 数据基础 什么是数据？ 数据是从个体（人、物体等）中对某些变量进行测量所得到的值。 变量类型 分类变量（定性） 例如：性别、血型、疾病状态 若类别可排序，则称为有序分类变量（例如：课程等级、COVID-19严重程度） 数值变量（定量） 例如：身高、体重、年龄、收入、血压 只有数值变量支持算术运算 数据表结构 列（Columns）：对应变量（Variables） 行（Rows）：对应个体或观测值（Observations），数量通常记为 nnn Song Artist Genre Size(MB) Length(sec) My Friends D. Williams Alternative 3.83 247 Up the Road E. Clapton Rock 5.62 378 数据收集方法 观察法：直接观察或比较 测试与实验：使用工具（如软尺）测量 调查法： 问卷 访谈 电子邮件/电话 文档分析：如查阅医疗记录 📌 注意：问卷设计顺序可能影响回答...