利用Python脚本高效下载MIT-Adobe FiveK Dataset修饰图片

1. MIT-Adobe FiveK Dataset简介与下载痛点MIT-Adobe FiveK Dataset是计算机视觉领域广泛使用的基准数据集特别在图像增强和修饰研究中具有重要地位。这个数据集包含5000张专业摄影师拍摄的高质量原始图像DNG格式每张原始图像都经过了五位不同专业修图师标记为A、B、C、D、E的独立修饰最终形成了总计25000张修饰后图像。数据集的主要价值在于真实世界场景所有图片都来自实际摄影作品覆盖人像、风景、静物等多种题材专业修饰标准五位修图师使用不同风格进行调整为算法研究提供丰富参考研究基准已成为图像增强领域论文的标准评测数据集但实际使用中会遇到一个棘手问题官网虽然提供了原始图像的批量下载链接但修饰后的图片却只有单张下载入口。想象一下要手动点击下载25000次不仅耗时耗力还容易出错。更麻烦的是网络不稳定时经常需要重试人工操作简直是一场噩梦。2. 分析图片URL规律与下载策略仔细观察修饰后图片的下载链接会发现一个有趣的模式。以C修图师处理的第一张图片为例https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/a0001-jmac_DSC1459.tif这个URL可以分解为三个固定部分基础路径https://data.csail.mit.edu/graphics/fivek/img/所有图片相同修图师标识tiff16_c最后的字母代表修图师c→Cd→D等文件名a0001-jmac_DSC1459.tif与原始图片名称对应更棒的是所有图片的文件名都记录在两个文本文件中filesAdobe.txtfilesAdobeMIT.txt这两个文件会随原始图片包一起下载。掌握了这个规律后我们就可以用Python脚本自动构造所有图片的下载链接实现批量下载。3. Python自动下载脚本完整实现下面是我在实际项目中使用的增强版下载脚本增加了错误重试、进度显示等实用功能import os import time import requests from tqdm import tqdm # 进度条库 # 配置区域 BASE_URL https://data.csail.mit.edu/graphics/fivek/img/ ARTISTS [a, b, c, d, e] # 五位修图师标识 DOWNLOAD_DIR ./FiveK_retouched # 下载保存路径 FILE_LIST [filesAdobe.txt, filesAdobeMIT.txt] # 文件名列表 MAX_RETRY 3 # 下载失败重试次数 # def get_file_list(): 读取所有图片文件名 img_names [] for file in FILE_LIST: with open(file, r) as f: img_names.extend([line.strip() for line in f]) return img_names def download_image(url, save_path): 带重试机制的下载函数 for attempt in range(MAX_RETRY): try: response requests.get(url, streamTrue, timeout30) response.raise_for_status() with open(save_path, wb) as f: for chunk in response.iter_content(chunk_size8192): if chunk: f.write(chunk) return True except Exception as e: print(f下载失败 (尝试 {attempt 1}/{MAX_RETRY}): {e}) time.sleep(2) # 等待后重试 return False def main(): # 创建下载目录 os.makedirs(DOWNLOAD_DIR, exist_okTrue) # 获取所有图片文件名 image_names get_file_list() print(f共找到 {len(image_names)} 张图片) # 为每位修图师创建子目录 for artist in ARTISTS: artist_dir os.path.join(DOWNLOAD_DIR, fexpert_{artist}) os.makedirs(artist_dir, exist_okTrue) print(f\n开始下载 {artist.upper()} 修图师的图片...) for img_name in tqdm(image_names): # 构造下载URL和保存路径 url f{BASE_URL}tiff16_{artist}/{img_name}.tif save_path os.path.join(artist_dir, f{img_name}.tif) # 如果文件已存在则跳过 if os.path.exists(save_path): continue # 下载图片 success download_image(url, save_path) if not success: print(f警告: 无法下载 {img_name}) if __name__ __main__: main()这个脚本相比基础版本有几个实用改进并行处理可以同时下载多位修图师的图片断点续传已下载文件会自动跳过错误重试网络波动时自动重试最多3次进度显示使用tqdm库显示美观的进度条目录组织自动按修图师分类存储图片4. 实战技巧与常见问题解决在实际运行下载脚本时可能会遇到一些典型问题下面分享我的解决方案问题1下载速度慢解决方案使用多线程加速。修改下载函数from concurrent.futures import ThreadPoolExecutor def download_artist_images(artist, image_names): # 同上文download_image实现 ... with ThreadPoolExecutor(max_workers5) as executor: for artist in ARTISTS: executor.submit(download_artist_images, artist, image_names)问题2文件名包含特殊字符解决方案对文件名进行URL编码from urllib.parse import quote safe_name quote(img_name) url f{BASE_URL}tiff16_{artist}/{safe_name}.tif问题3磁盘空间不足解决方案1先下载部分数据如前1000张# 修改main函数中的循环 for img_name in tqdm(image_names[:1000]):解决方案2下载后立即转换为更小的JPEG格式需安装Pillowfrom PIL import Image def convert_to_jpeg(tif_path): jpeg_path tif_path.replace(.tif, .jpg) img Image.open(tif_path) img.save(jpeg_path, JPEG, quality90) os.remove(tif_path) # 删除原TIFF文件问题4网络连接不稳定解决方案使用requests的Session对象保持连接并设置合理的超时session requests.Session() adapter requests.adapters.HTTPAdapter( pool_connections50, pool_maxsize50, max_retries3 ) session.mount(https://, adapter)5. 数据验证与完整性检查下载完成后建议进行完整性检查。我通常使用以下方法文件数量验证def verify_downloads(): for artist in ARTISTS: artist_dir os.path.join(DOWNLOAD_DIR, fexpert_{artist}) downloaded len([f for f in os.listdir(artist_dir) if f.endswith(.tif)]) print(f{artist.upper()}: 已下载 {downloaded}/{len(image_names)})文件大小检查正常TIFF文件应大于1MBdef check_file_sizes(): for artist in ARTISTS: artist_dir os.path.join(DOWNLOAD_DIR, fexpert_{artist}) for file in os.listdir(artist_dir): path os.path.join(artist_dir, file) if os.path.getsize(path) 1024*1024: # 小于1MB print(f可疑小文件: {path})随机抽样检查import random from PIL import Image def sample_check(num10): for _ in range(num): artist random.choice(ARTISTS) artist_dir os.path.join(DOWNLOAD_DIR, fexpert_{artist}) sample random.choice(os.listdir(artist_dir)) img Image.open(os.path.join(artist_dir, sample)) print(f{sample}: 尺寸 {img.size}, 模式 {img.mode})6. 进阶应用数据集预处理与转换原始下载的是16位TIFF格式虽然质量高但占用空间大。在实际研究中我通常会进行以下预处理转换为JPEG格式节省空间def batch_convert_to_jpeg(): for artist in ARTISTS: artist_dir os.path.join(DOWNLOAD_DIR, fexpert_{artist}) jpeg_dir os.path.join(DOWNLOAD_DIR, fexpert_{artist}_jpeg) os.makedirs(jpeg_dir, exist_okTrue) for file in tqdm(os.listdir(artist_dir)): if file.endswith(.tif): tif_path os.path.join(artist_dir, file) jpeg_path os.path.join(jpeg_dir, file.replace(.tif, .jpg)) try: img Image.open(tif_path) img.convert(RGB).save(jpeg_path, JPEG, quality95) except Exception as e: print(f转换失败 {file}: {e})创建训练集/测试集分割import shutil def create_train_test_split(test_ratio0.2): all_images get_file_list() random.shuffle(all_images) split_idx int(len(all_images) * (1 - test_ratio)) for artist in ARTISTS: src_dir os.path.join(DOWNLOAD_DIR, fexpert_{artist}) train_dir os.path.join(DOWNLOAD_DIR, train, fexpert_{artist}) test_dir os.path.join(DOWNLOAD_DIR, test, fexpert_{artist}) os.makedirs(train_dir, exist_okTrue) os.makedirs(test_dir, exist_okTrue) for i, img_name in enumerate(all_images): src os.path.join(src_dir, f{img_name}.tif) if i split_idx: dst os.path.join(train_dir, f{img_name}.tif) else: dst os.path.join(test_dir, f{img_name}.tif) if os.path.exists(src): shutil.copy2(src, dst)7. 实际项目中的应用建议在图像增强研究中我有几点实用建议存储优化使用符号链接避免数据重复# 为不同项目创建数据链接 ln -s /path/to/FiveK_retouched /project1/data/fivek内存映射处理大型数据集时使用numpy.memmapimport numpy as np def load_images_as_memmap(image_paths): # 创建内存映射文件 mmap np.memmap(temp.mmap, dtypefloat32, modew, shape(len(image_paths), 256, 256, 3)) for i, path in enumerate(image_paths): img Image.open(path).resize((256, 256)) mmap[i] np.array(img) / 255.0 return mmap数据增强直接在TIFF上应用增强保持高质量from torchvision import transforms tiff_transform transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), ])多版本管理使用不同的修饰版本进行对比实验def load_multiple_versions(img_name): versions {} for artist in ARTISTS: path f./FiveK_retouched/expert_{artist}/{img_name}.tif versions[artist] Image.open(path) return versions