网站集约化清华大学有关网站建设的书

网站集约化,清华大学有关网站建设的书,如何做好搜索引擎优化工作,做网站建设费用预算文件的规范拆法和写法 疏锦行 昨天我们已经介绍了如何在不同的文件中#xff0c;导入其他目录的文件#xff0c;核心在于了解导入方式和python解释器检索目录的方式。 搞清楚了这些#xff0c;那我们就可以来看看#xff0c;如何把一个文件#xff0c;拆分成多个具有着…文件的规范拆法和写法疏锦行昨天我们已经介绍了如何在不同的文件中导入其他目录的文件核心在于了解导入方式和python解释器检索目录的方式。搞清楚了这些那我们就可以来看看如何把一个文件拆分成多个具有着独立功能的文件然后通过import的方式来调用这些文件。这样具有几个好处可以让项目文件变得更加规范和清晰可以让项目文件更加容易维护修改某一个功能的时候只需要修改一个文件而不需要修改多个文件。文件变得更容易复用部分通用的文件可以单独拿出来进行其他项目的复用。机器学习项目的流程一个典型的机器学习项目通常包含以下阶段数据加载从文件、数据库、API 等获取原始数据。命名参考load_data.py、data_loader.py数据探索与可视化了解数据特性初期可用 Jupyter Notebook成熟后固化绘图函数。命名参考eda.py、visualization_utils.py数据预处理处理缺失值、异常值进行标准化、归一化、编码等操作。命名参考preprocess.py、data_cleaning.py、data_transformation.py特征工程创建新特征选择、优化现有特征。命名参考feature_engineering.py模型训练构建模型架构设置超参数并训练保存模型。命名参考model.py、train.py模型评估用合适指标评估模型在测试集上的性能生成报告。命名参考evaluate.py模型预测用训练好的模型对新数据预测。命名参考predict.py、inference.py文件的组织1. 项目核心代码组织src/source的缩写存放项目的核心源代码。按照机器学习项目阶段进一步细分src/data/放置与数据相关的代码。src/data/load_data.py负责从各类数据源如文件系统、数据库、API 等读取原始数据。src/data/preprocess.py进行数据清洗处理缺失值、异常值、数据转换标准化、归一化、编码等操作。src/data/feature_engineering.py根据业务和数据特点创建新特征或对现有特征进行选择、优化。src/models/关于模型的代码。src/models/model.py定义模型架构比如神经网络结构、机器学习算法模型设定等。src/models/train.py设置模型超参数并执行训练过程保存训练好的模型。src/models/evaluate.py使用合适的评估指标如准确率、召回率、均方误差等在测试集上评估模型性能生成评估报告。src/models/predict.py或src/models/inference.py利用训练好的模型对新数据进行预测。src/utils/存放通用辅助函数代码可进一步细分src/utils/io_utils.py包含文件读写相关帮助函数比如读取特定格式文件、保存数据到文件等。src/utils/logging_utils.py实现日志记录功能方便记录项目运行过程中的信息便于调试和监控。src/utils/math_utils.py特定的数值计算函数像自定义的矩阵运算、统计计算等。src/utils/plotting_utils.py绘图工具函数用于生成数据可视化图表如绘制损失函数变化曲线、特征分布直方图等 。2. 配置文件管理config/ 目录集中存放项目的配置文件方便管理和切换不同环境开发、测试、生产的配置。config/config.py或config/settings.py以 Python 代码形式定义配置参数。config/config.yaml或config/config.json采用 YAML 或 JSON 格式清晰列出文件路径、模型超参数、随机种子、API 密钥等可配置参数。.env文件通常放在项目根目录用于存储敏感信息如数据库密码、API 密钥等在代码中通过环境变量的方式读取一般会被.gitignore忽略防止敏感信息泄露。3. 实验与探索代码notebooks/ 或 experiments/ 目录用于初期的数据探索、快速实验、模型原型验证。notebooks/initial_eda.ipynb在项目初期使用 Jupyter Notebook 进行数据探索与可视化了解数据特性分析数据分布、相关性等。experiments/model_experimentation.py编写脚本对不同模型架构、超参数组合进行快速实验对比实验结果寻找最优模型设置。这部分往往是最开始的探索阶段后面跑通了后拆分成了完整的项目留作纪念用。4. 项目产出物管理data/ 目录存放项目相关数据。data/raw/放置从外部获取的未经处理的原始数据保持数据原始状态。data/processed/存放经过预处理清洗、转换、特征工程等操作后的数据供模型训练和评估使用。data/interim/可选保存中间处理结果比如数据清洗过程中生成的临时文件、特征工程中间步骤产生的数据等。models/ 目录专门存放训练好的模型文件根据模型保存格式不同可能是.pklPython pickle 格式常用于保存 sklearn 模型 、.h5常用于保存 Keras 模型 、.joblib等。reports/ 或 output/ 目录存储项目运行产生的各类报告和输出文件。reports/evaluation_report.txt记录模型评估的详细结果包括各项评估指标数值、模型性能分析等。reports/visualizations/存放数据可视化图片如损失函数收敛图、预测结果对比图等。output/logs/保存项目运行日志文件记录项目从开始到结束过程中的关键信息如训练开始时间、训练过程中的损失值变化、预测时间等。总结一下通用的拆分起步思路首先按照机器学习的主要工作流程数据处理、训练、评估等将代码分离到不同的.py文件中。这是最基本也是最有价值的一步。然后创建一个utils.py来存放通用的辅助函数。考虑将所有配置参数集中到一个config.py文件中。为你的数据和模型产出物创建专门的顶层目录如data/和models/将它们与你的源代码通常放在src/目录分开。当遵循这些通用的拆分思路和原则时项目结构自然会变得清晰。注意事项常常会看到ifname main这个写法实际上每个文件都是一个对象对象就会有属性和方法。如果直接运行这个文件则__name__等于__main__若这个文件被其他模块导入则__name__不等于__main__。这个写法有如下好处明确程序起点一个 Python 项目往往由多个模块组成。ifname “main” 可清晰界定程序执行的起始位置。比如一个包含数据处理模块 data_processing.py、模型训练模块 model_training.py 的机器学习项目在 model_training.py 中用 ifname “main” 包裹训练相关的主逻辑代码运行该文件时就知道需要从这里开始执行其他文件都是附属文件让项目结构和执行流程更清晰。大多时候如此避免执行python遵从模块导入即执行机制当你使用 import xxx 导入一个模块时Python 会执行该模块中的所有顶层代码即不在任何函数或类内部的代码。如果顶层代码中定义了全局变量或执行了某些操作如读取文件、初始化数据库连接这些操作会在导入时立即生效并可能影响整个程序的状态。为了避免执行不必要的代码我们可以使用 ifname “main” 来避免在导入时执行不必要的代码。这样只有当模块被直接运行时即被执行 python xxx.py才会执行顶层代码而导入时则不会执行。这样我们就可以确保在导入模块时不会执行不必要的代码从而提高程序的性能和可维护性。合理的资源管理ifname “main” 与定义 main 函数结合使用函数内变量在函数执行完这些变量被释放能及时回收内存资源避免内存泄漏保证程序高效运行。编码格式规范的py文件首行会有# -- coding: utf-8 --主要目的是 显式声明文件的编码格式确保 Python 解释器能正确读取和解析文件中的非 ASCII 字符如中文、日文、特殊符号等。也就是说这个是写给解释器看的。因为在 Python 2.x 时代默认编码是 ASCII不支持直接在代码中写入非 ASCII 字符如中文注释、字符串中的中文否则会报错SyntaxError: Non-UTF-8 code starting with…。但是Python 3.x 默认为 UTF-8 编码理论上可以省略编码声明。但实际开发中为了兼容旧代码、明确文件编码规则或在团队协作中避免因编辑器 / 环境配置不同导致的乱码问题许多开发者仍会保留这一行声明。ps编码声明必须出现在文件的前两行通常是首行否则会被忽略。如果编码格式没问题可能是vscode的编码格式不是utf-8可以尝试修改编码格式。常见的编码报错是因为字符串编码问题可以尝试显式转化即读取的时候转化为utf-8编码。非 ASCII 字符的代码如下所示-- coding: utf-8 --msg “你好世界” # 中文字符串print(msg)很多时候项目中会包含gitattribute文件来确保在不同操作系统和编辑器中文件的编码格式一致。这里我们后面说到git工具在介绍类型注解Python 的类型注解是在 Python 3.5 引入的特性用于为变量、函数参数、返回值和类属性等添加类型信息。虽然 Python 仍是动态类型语言但类型注解可以提高代码可读性、可维护性并支持静态类型检查工具如 mypy。其次你在安装python插件的时候附带安装了2个插件一个是python debugger用于断点调试我们已经介绍了另一个是pylance用于代码提示和类型检查这个插件会根据你的代码中的类型注解给出相应的提示和检查比如你定义了一个函数参数类型是int那么当你传入一个字符串时它会提示你传入的参数类型不正确。变量类型注解语法为 变量名: 类型变量的类型注解name: str “Alice”age: int 30height: float 1.75is_student: bool False函数类型注解为函数参数和返回值指定类型语法为 def 函数名(参数: 类型) - 返回类型。defadd(a:int,b:int)-int:returnab defgreet(name:str)-None:print(fHello, {name})类属性与方法的类型注解为类的属性和方法添加类型信息。# 定义一个矩形类 classRectangle:width:float # 矩形宽度浮点数类属性的类型注解不初始化值 height:float # 矩形高度浮点数 def__init__(self,width:float,height:float):self.widthwidth self.heightheight defarea(self)-float:# 计算面积宽度 × 高度returnself.width*self.height上述的width: float # 矩形宽度浮点数这个写法由于没有对变量赋值所以是一种类型注解写法