AI 网站导航
本文更新时间：2026-07-18。AI 产品迭代很快，下面只保留常用入口，不代表排名；访问权限、价格和模型能力以各官网实时信息为准。
通用对话与搜索
DeepSeek 第三方部署与搜索
创作工具
开发与本地部署
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Clang's Blog！
相关推荐
2026-06-11
Pandas数据清洗常见场景实践
数据清洗是数据分析和机器学习项目中最耗时的环节。模型效果不好时，原因不一定是算法复杂度不够，很多时候是缺失值、重复数据、异常值、类型错误和类别编码没有处理好。 本文整理 Pandas 中常见的数据清洗场景，包括读取数据、查看概况、处理缺失值、去重、类型转换、异常值过滤、文本字段清理和类别编码。 读取数据并查看概况假设有一个用户行为数据文件： 123import pandas as pddf = pd.read_csv("users.csv") 先不要急着建模，应该先查看基本信息： 123print(df.head())print(df.info())print(df.describe()) head 查看前几行，info 查看字段类型和缺失情况，describe 查看数值字段的分布。 统计缺失值： 12missing =...
2026-06-09
PyTorch训练过程中的过拟合判断与处理
训练深度学习模型时，过拟合是最常见的问题之一。模型在训练集上表现很好，但在验证集或真实数据上效果明显变差。它不是 PyTorch 独有的问题，而是机器学习模型容量、数据规模、训练策略和任务复杂度共同作用的结果。 本文以 PyTorch 训练流程为例，说明如何判断过拟合，以及常用处理手段：数据划分、监控曲线、正则化、Dropout、数据增强、早停和模型简化。 什么是过拟合过拟合可以简单理解为模型“记住了训练样本”，但没有学到足够通用的规律。典型表现是： 训练 loss 持续下降。 训练 accuracy 持续上升。 验证 loss 下降一段时间后开始上升。 验证 accuracy 停滞甚至下降。 只看训练集指标很容易误判。一个模型训练准确率 99%，并不代表它在新数据上也能达到同样效果。 正确划分数据集判断过拟合的前提是有独立验证集： 1234567891011from torch.utils.data import random_splitdataset = MyDataset()train_size = int(len(dataset) * 0.8)val_size =...
2024-04-29
使用 Docker 在 PyTorch 环境中训练模型
在机器学习和深度学习任务中，使用 Docker 可以方便地构建和管理环境，特别是在涉及复杂依赖关系和 GPU 加速时。本文介绍如何基于官方 PyTorch 镜像构建训练环境，并在容器中运行训练脚本。 准备工作首先编写一个 Dockerfile，描述镜像应该包含的依赖和启动命令。官方 PyTorch 镜像已经内置对应版本的 torch、torchvision、CUDA 和 cuDNN，通常不要在镜像里再次 pip install torch torchvision，否则容易把 CUDA 版本和 PyTorch 版本装乱。 下面示例使用一个明确版本的官方镜像。实际项目中应根据服务器 NVIDIA 驱动版本选择匹配的 CUDA 镜像标签。 1234567891011121314151617# 使用官方 PyTorch 镜像作为基础镜像FROM pytorch/pytorch:2.13.0-cuda12.6-cudnn9-devel# 设置工作目录WORKDIR /app# 先复制依赖声明，便于利用 Docker 构建缓存COPY requirements.txt...
2024-06-28
使用 PyTorch 和 Pandas 进行 Kaggle 房价预测
在本篇博文中，我们将探索如何使用 PyTorch 和 Pandas 库，构建一个用于 Kaggle 房价预测的模型。我们将详细讨论数据加载、预处理、模型构建、训练、验证及最终预测的全过程。 1、环境设置我们首先需要导入所需的库，包括用于数据处理的 pandas 和 numpy，以及用于深度学习的 torch。 12345678import hashlibimport osimport requestsimport numpy as npimport pandas as pdimport torchfrom torch import nnfrom d2l import torch as d2l 2、数据下载为了下载数据，我们需要定义一个下载函数，并在其中实现数据缓存机制以避免重复下载。 1234567891011121314151617181920212223242526# 保存DATA_HUB字典以便下载数据DATA_HUB = dict()DATA_URL = 'http://d2l-data.s3-accelerate.amazonaws.com/'#...
2024-04-28
使用PyTorch进行植物叶片分类：从数据准备到模型训练
...
2026-06-12
使用Scikit-learn构建一个完整分类任务流程
Scikit-learn 非常适合构建传统机器学习任务。它提供了数据切分、特征预处理、模型训练、交叉验证和指标评估等工具。对于表格数据分类任务，先用 Scikit-learn 做一个完整 baseline，通常比直接上复杂深度学习模型更稳。 本文通过一个二分类任务，演示从数据读取到模型保存的完整流程。 准备数据假设数据文件 churn.csv 用于预测用户是否流失，字段包括年龄、消费金额、登录次数、城市、设备类型和标签： 12345import pandas as pddf = pd.read_csv("churn.csv")print(df.head())print(df.info()) 分离特征和标签： 123target = "is_churn"X = df.drop(columns=[target])y = df[target] 如果标签缺失，应该先清理： 123mask = y.notna()X = X[mask]y = y[mask] 划分训练集和测试集分类任务建议使用分层切分，保持标签比例： 123456789from...
评论
