[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
6 N; s" ^# b( e( J) I大哥，你这个头像很爱啊，像ai又想vam，有没有出处

( B7 t4 w( k( Q抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
import os
import imagehash
$ O/ o3 u- n1 R. a2 [& s& S/ e+ G7 {from PIL import Image
; z4 m. z+ \. i0 g
' g- e" j7 O# {4 xdef compute_image_hash(image_path):
    # image = Image.open(image_path)
    # return imagehash.average_hash(image)
    try:
        with Image.open(image_path) as image:
# j$ O2 d* d: F( F  ?8 L2 M            return imagehash.average_hash(image)
    except (OSError, IOError) as e:
5 p/ P$ v3 \4 T  W        print(f"处理图像 {image_path} 时出错: {e}")
        return None

def remove_duplicates(image_folder):
    hash_dict = {}
3 }$ V: B9 l; i4 q) U1 x5 N/ g! |    duplicates = []
6 |* O* s0 c9 w$ J# l' y
  r/ `8 ]" v3 R  i6 V5 p( B    for filename in os.listdir(image_folder):
        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
1 G& R+ o# t0 i# b5 B7 L            image_path = image_folder + "\\" + filename
            image_hash = compute_image_hash(image_path)
! |, r3 b. P5 c3 F; p
9 E) C+ _! @; y+ Q" a$ B            if image_hash in hash_dict:
2 w" x1 _8 i4 N                duplicates.append(image_path)
            else:
9 S$ v4 }9 A' n                hash_dict[image_hash] = image_path
- l2 {( r. N- ^        else:
            pass
) \/ ]. J; \1 Q
- `- X1 o: R0 c4 Q    for duplicate in duplicates:
' A* ?3 ^/ k* |- _        os.remove(duplicate)
        print(f"Removed duplicate image: {duplicate}")
: q5 o* ]8 t7 @" u
    print("Duplicate removal complete.")
: u+ }$ [5 R+ Q$ `3 _% w) i0 y
: e8 C( k9 y9 ?3 }( rimage_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
! j$ b) k$ W, q% z1 N8 d% Bremove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
) B. i: b* @7 z* i7 n: w' ^大哥，你这个头像很爱啊，像ai又想vam，有没有出处

2 |" ?& V1 _  p0 A一眼ai