企业官网建设流程全解析

深圳做手机网站,设计本质,做网站项目流程,华为网站建设招聘人工智能之数学基础 概率论与统计 第四章 统计量----公式关注公众号 文章目录人工智能之数学基础 概率论与统计前言一、统计推断基础1. 总体 vs 样本2. 统计量#xff08;Statistic#xff09;3. 抽样分布#xff08;Sampling Distribution#xff09;二、1. 置信区间Statistic3. 抽样分布Sampling Distribution二、1. 置信区间Confidence Interval, CI✅ 核心思想 构造步骤以总体均值为例情况1总体方差已知或大样本情况2总体方差未知小样本且总体正态 Python 实现均值的置信区间 模拟验证置信区间的覆盖率三、2. 假设检验Hypothesis Testing✅ 核心思想 基本步骤 两类错误 常见检验类型 Python 实现单样本 t 检验 两样本 t 检验A/B 测试 卡方检验分类变量独立性四、置信区间 vs 假设检验的关系五、常见误区与最佳实践六、进阶使用 statsmodels 进行回归中的假设检验七、总结后续资料关注前言在获得样本数据后我们常需对总体参数做出推断。置信区间Confidence Interval和假设检验Hypothesis Testing是统计推断的两大支柱。本文将系统讲解其原理、步骤、常见误区并提供完整的PythonSciPy / statsmodels代码实现与可视化。一、统计推断基础1. 总体 vs 样本总体Population研究对象的全体如全国成年男性身高样本Sample从总体中抽取的部分观测如 1000 名男性身高2. 统计量Statistic样本的函数不含未知参数用于估计或检验。例如样本均值 $ \bar{X} $、样本方差 $ S^2 $3. 抽样分布Sampling Distribution统计量的概率分布如 $ \bar{X} $ 的分布。中心极限定理CLT保证大样本下 $ \bar{X} \approx \mathcal{N}(\mu, \sigma^2/n) $二、1. 置信区间Confidence Interval, CI✅ 核心思想用一个区间来估计未知参数并给出该区间包含真值的“可信程度”。形式$ [\hat{\theta}_L, \hat{\theta}_U] $置信水平 $ 1 - \alpha $如 95%❗ 重要理解“95% 置信” ≠ “参数有 95% 概率落在该区间”参数是固定值而是重复抽样 100 次约有 95 个区间会包含真值。 构造步骤以总体均值为例情况1总体方差已知或大样本统计量$ Z \frac{\bar{X} - \mu}{\sigma / \sqrt{n}} \sim \mathcal{N}(0,1) $95% CIX ˉ ± z α / 2 ⋅ σ n \bar{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}Xˉ±zα/2​⋅n​σ​其中 $ z_{0.025} \approx 1.96 $情况2总体方差未知小样本且总体正态统计量 $T \frac{\bar{X} - \mu}{S / \sqrt{n}} \sim t_{n-1} $95% CIX ˉ ± t α / 2 , n − 1 ⋅ S n \bar{X} \pm t_{\alpha/2, n-1} \cdot \frac{S}{\sqrt{n}}Xˉ±tα/2,n−1​⋅n​S​ Python 实现均值的置信区间importnumpyasnpimportscipy.statsasstatsimportmatplotlib.pyplotasplt# 模拟数据小样本n20总体 ~ N(50, 10²)np.random.seed(42)true_mu,true_sigma50,10samplenp.random.normal(true_mu,true_sigma,size20)nlen(sample)sample_meannp.mean(sample)sample_stdnp.std(sample,ddof1)# 无偏样本标准差# 95% 置信区间t 分布因 σ 未知且 n 小alpha0.05dfn-1t_criticalstats.t.ppf(1-alpha/2,df)margin_errort_critical*(sample_std/np.sqrt(n))ci_lowersample_mean-margin_error ci_uppersample_meanmargin_errorprint(f样本均值:{sample_mean:.2f})print(f95% 置信区间: [{ci_lower:.2f},{ci_upper:.2f}])print(f真实 μ {true_mu}→{包含ifci_lowertrue_muci_upperelse不包含})# 可视化plt.errorbar(0,sample_mean,yerrmargin_error,fmto,capsize5,label95% CI)plt.axhline(true_mu,colorr,linestyle--,labelf真实 μ {true_mu})plt.xticks([])plt.ylabel(均值)plt.title(样本均值的 95% 置信区间)plt.legend()plt.grid(True)plt.show() 模拟验证置信区间的覆盖率defsimulate_ci_coverage(mu50,sigma10,n20,alpha0.05,n_sim1000):covered0for_inrange(n_sim):samplenp.random.normal(mu,sigma,n)meansample.mean()stdsample.std(ddof1)t_critstats.t.ppf(1-alpha/2,n-1)met_crit*std/np.sqrt(n)ifmean-memumeanme:covered1returncovered/n_sim coveragesimulate_ci_coverage()print(f模拟 1000 次95% CI 的实际覆盖率:{coverage:.3f}应接近 0.95)三、2. 假设检验Hypothesis Testing✅ 核心思想基于样本证据判断是否拒绝关于总体的某个假设。 基本步骤提出假设原假设 $ H_0 $默认成立如“新药无效”备择假设 $ H_1 $希望证明的结论如“新药有效”选择检验统计量如 t 统计量、z 统计量计算 p 值在 $ H_0 $ 成立下观察到当前样本或更极端的概率。决策若 $ p \leq \alpha $显著性水平如 0.05拒绝H 0 H_0H0​否则不拒绝 $ H_0 $⚠️ 注意“不拒绝” ≠ “接受 $H_0 $”p 值不是 $ H_0 $ 为真的概率 两类错误$ H_0 $ 为真$H_0 $ 为假拒绝 $ H_0 $第 I 类错误α正确1 - β功效不拒绝$H_0 $正确第 II 类错误β 常见检验类型场景检验方法Python 函数单样本均值 vs 已知值t 检验stats.ttest_1samp两独立样本均值比较独立 t 检验stats.ttest_ind配对样本前后测配对 t 检验stats.ttest_rel分类变量关联性卡方检验stats.chi2_contingency正态性检验Shapiro-Wilkstats.shapiro Python 实现单样本 t 检验问题某厂声称电池平均续航为 100 小时。测试 25 块电池数据如下能否质疑该说法# 模拟测试数据np.random.seed(0)battery_lifenp.random.normal(97,8,size25)# 真实均值 97 100# 假设检验mu0100# H0: μ 100t_stat,p_valuestats.ttest_1samp(battery_life,mu0)print(f样本均值:{battery_life.mean():.2f})print(ft 统计量:{t_stat:.3f})print(fp 值:{p_value:.4f})alpha0.05ifp_valuealpha:print(f在 α{alpha}水平下拒绝 H0电池续航显著低于 100 小时)else:print(f在 α{alpha}水平下不拒绝 H0)# 可视化 t 分布与 p 值dflen(battery_life)-1xnp.linspace(-4,4,400)t_diststats.t.pdf(x,df)plt.figure(figsize(8,4))plt.plot(x,t_dist,b-,labelt 分布 (df24))plt.axvline(t_stat,colorr,linestyle--,labelft {t_stat:.2f})# 阴影 p 值区域双侧x_fillnp.linspace(t_stat,4,100)ift_stat0elsenp.linspace(-4,t_stat,10)plt.fill_between(x_fill,stats.t.pdf(x_fill,df),colorred,alpha0.3,labelfp 值 {p_value:.3f})plt.xlabel(t 值);plt.ylabel(密度)plt.title(单样本 t 检验p 值可视化)plt.legend();plt.grid(True)plt.show() 两样本 t 检验A/B 测试场景比较两个网页版本的用户停留时间。# 模拟 A/B 测试数据np.random.seed(1)group_Anp.random.normal(120,30,100)# 均值 120 秒group_Bnp.random.normal(130,30,100)# 均值 130 秒# 独立 t 检验假设方差相等t_stat,p_valuestats.ttest_ind(group_A,group_B,equal_varTrue)print(fA 组均值:{group_A.mean():.1f}, B 组均值:{group_B.mean():.1f})print(ft {t_stat:.3f}, p {p_value:.4f})ifp_value0.05:print(B 版本显著优于 A 版本 (p 0.05))else:print(无显著差异)# 箱线图可视化plt.boxplot([group_A,group_B],labels[A,B])plt.ylabel(停留时间 (秒))plt.title(A/B 测试用户停留时间)plt.grid(True)plt.show() 卡方检验分类变量独立性问题性别与产品偏好是否相关# 列联表行性别列偏好observednp.array([[60,40],# 男性喜欢/不喜欢[30,70]])# 女性喜欢/不喜欢chi2,p,dof,expectedstats.chi2_contingency(observed)print(观测频数:\n,observed)print(期望频数:\n,expected)print(fχ² {chi2:.2f}, p {p:.4f})ifp0.05:print(性别与产品偏好显著相关)else:print(无显著关联)四、置信区间 vs 假设检验的关系二者本质相通对于双侧检验 $ H_0: \mu \mu_0 $ vs $ H_1: \mu \ne \mu_0 $拒绝 $ H_0 $ 当且仅当 $ \mu_0 $ 不在 $ 1-\alpha $ 置信区间内# 验证用之前的电池数据mu0100in_ci(ci_lowermu0ci_upper)reject_h0(p_value0.05)print(fμ0{mu0}是否在 95% CI 内?{in_ci})print(f是否拒绝 H0?{reject_h0})print(f二者一致?{in_ci(notreject_h0)})# 应为 True五、常见误区与最佳实践误区正确认知“p 0.051 和 p 0.049 差别很大”p 值是连续的0.05 是人为阈值“不显著 无差异”可能是样本量不足功效低“置信区间包含 0 ⇒ 无效应”需结合效应量effect size判断实际意义“p 值越小效应越大”p 值受样本量和效应量共同影响✅最佳实践报告效应量如 Cohen’s d和置信区间而非仅 p 值预先设定显著性水平 $ \alpha $考虑统计功效Power Analysis以确定所需样本量。六、进阶使用statsmodels进行回归中的假设检验importstatsmodels.apiassm# 生成数据np.random.seed(0)Xnp.random.randn(100,1)y2*X.ravel()np.random.randn(100)*0.5# 添加截距Xsm.add_constant(X)# 拟合线性回归modelsm.OLS(y,X).fit()print(model.summary())输出中coef参数估计值P|t|该系数是否显著非零H₀: β0[0.025, 0.975]95% 置信区间七、总结方法目的输出关键概念置信区间估计参数范围区间 [L, U]置信水平、边际误差假设检验判断假设是否成立p 值、拒绝/不拒绝显著性水平、两类错误现代统计建议优先报告置信区间提供更多信息结合效应量判断实际意义避免“p 值崇拜”重视实验设计与数据质量。后续python过渡项目部分代码已经上传至gitee后续会逐步更新。资料关注公众号咚咚王giteehttps://gitee.com/wy18585051844/ai_learning《Python编程从入门到实践》《利用Python进行数据分析》《算法导论中文第三版》《概率论与数理统计第四版 (盛骤) 》《程序员的数学》《线性代数应该这样学第3版》《微积分和数学分析引论》《西瓜书周志华-机器学习》《TensorFlow机器学习实战指南》《Sklearn与TensorFlow机器学习实用指南》《模式识别第四版》《深度学习 deep learning》伊恩·古德费洛著 花书《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》《深入浅出神经网络与深度学习(迈克尔·尼尔森MichaelNielsen》《自然语言处理综论 第2版》《Natural-Language-Processing-with-PyTorch》《计算机视觉-算法与应用(中文版)》《Learning OpenCV 4》《AIGC智能创作时代》杜雨张孜铭《AIGC原理与实践零基础学大语言模型、扩散模型和多模态模型》《从零构建大语言模型中文版》《实战AI大模型》《AI 3.0》