Программа по удалению одинаковых файлов. Поиск одинаковых файлов

Доброго дня!

Я думаю, что у многих пользователей на диске лежат десятки (а то и сотни) гигабайт картинок, обоев, видео, музыки и пр. файлов. И должен заметить, что в разных каталогах (в сборниках обоев, например) могут находится достаточно много копий (дублей). Нередко, после их удаления, удается освободить несколько гигабайт пространства на HDD!

Для поиска дубликатов существуют специальные программы и утилиты. Они способы за относительно небольшое время просканировать ваш жесткий диск(и) и представить вам на обозрение все одинаковое. Дальше, как правило, вам останется только пометить галочками, что удалить - и вуаля, место очищено!

В этой статье приведу несколько таких "чистильщиков", которые помогут вам освободить место на жестком диске. И так...

Дополнение!

Топ-14 программ для поиска дубликатов (одинаковых файлов)

Универсальные (поиск любых файлов)

Универсальные программы для поиска дублей подойдут для работы с любыми файлами: документами, фотографиями, видео и пр. Как правило, их работа строится на поиске файлов одинакового размера и контрольной суммы. Т.е. эти программы ищут точные копии, совпадающие на 100%!

Благодаря этому, их скорость работы достаточно высока. Однако, они не могут найти, например, почти одинаковые картинки, которые сохранены в разных форматах и отличным разрешением. Для этого необходимо использовать спец. ПО, которое я порекомендую ниже...

Ускоритель компьютера

Эта утилита с говорящим названием от российских разработчиков. Вообще, она предназначена для удаления мусорных файлов, исправления ошибок в реестре, контроля за состоянием автозагрузки и т.д., но в ее инструментах есть спец. модуль, позволяющий находить файлы-дубли. См. скриншот ниже.

Так вот, после запуска этой функции, вам будет предложено указать папки (которые будут проанализированы), и нажать кнопку поиска. Через некоторое время программа представит вам все найденные дубли - останется только удалить "лишнее".

Например, я проанализировал свою папку "Музыка" и узнал, что у меня 311 mp3-дублей на 2,65 ГБ. Причем, эта папка у меня не такая уж и большая. Результат на скриншоте ниже.

Разумеется, если у вас много сборников на диске (картинки, музыка и пр.) - количество освобождаемого места может быть значительно больше!

Примечание : бесплатная версия программы работает в полном режиме в течении 5 дней.

CCleaner

Одна из самых известных утилит по очистке ПК. Однако, не многие пользователи знают, что в ее арсенале есть функция по поиску дублей (причем, весьма неплохая функция!).

Чтобы открыть эту опцию: необходимо загрузить последнюю версию программы, в меню "Сервис" выбрать "Поиск дублей" , указать настройки и нажать кнопку "Найти" .

Отмечу, что поиск идет достаточно быстро, можно фильтровать файлы по их размеру, дате имени. Также вручную можно задать конкретные диски (папки) для поиска. В общем, довольно удобно!

Glary Utilities (Glary Duplicate Cleaner)

Glary Utilities - отличный набор утилит на все случаи жизни. Содержит в себе все самые необходимые инструменты для очистки, обслуживания и оптимизации Windows. Этот комплекс я уже неоднократно рекомендовал на страницах своего блога ...

В его арсенале встроенного ПО есть одна небольшая утилита Glary Duplicate Cleaner. Она позволяет достаточно быстро находить дубли самых разных форматов файлов: TXT, RAR, ZIP, MP3, WAV, AVI, JPG, BMP и пр. (в общем, все самое популярное точно есть, см. скрин ниже).

Настройка параметров сканирования / Glary Duplicate Cleaner

Также есть небольшой фильтр с критериями поиска: по имени, размеру, времени. Есть опция для пропуска файлов определенного размера (например, можно пропускать файлы, которые весят менее 100 КБ).

Отмечу, что пакет Glary Utilities бесплатен, и полностью переведен на русский язык. В общем, оценка 5 по 5 бальной шкале!

AllDup

Это небольшая бесплатная утилита способа очень быстро просканировать все ваши накопители и удалить все повторяющиеся файлы. Разработчики отмечают, что их алгоритм поиска на 10-30% работает быстрее, чем у других аналогичных продуктов.

Лично я скорость не проверял, но отметил бы следующее: утилита работает во всех ОС Windows 2000, XP, 7, 8 ,10 (это некое преимущество!).

После произведенного поиска, утилита AllDup представит вам результаты: с каждым дубликатом вы сможете ознакомиться и удалить его прямо из интерфейса программы. Удобно!

Duplicate File Finder

Бесплатный инструмент для очистки дисков от повторяющихся файлов. Программа побайтово сравнивает файлы на указанном диске (каталоге). Присутствуют стандартные фильтры: расширение файла, его имя, дата создания, и размер.

С результатом поиска (пример приведен на скрине выше) можно либо ознакомиться в самой программе (и принять решение), либо экспортировать его в файлы HTML, CSV и TXT. Кстати, отметил бы, что в программе достаточно удобный вьювер, позволяющий просмотреть картинку, текст, видео.

Total Commander

В этом знаменитом коммандере (хорошей замене проводника) также есть функция поиска файлов. Чтобы ее открыть - нажмите по значку "лупы" в верхнем меню программы (см. скрин выше).

Возможностей, конечно, здесь не так много, но тем не менее...

Для поиска фото, картинок, графики

Эти программы могут производить поиск не только по размеру (контрольной сумме) файла, но и по содержимому картинки. Например, у вас есть несколько одинаковых обоев для рабочего стола, располагающихся в двух разных папках (но у этих картинок разный размер и разрешение).

Так вот, программы, приведенные выше - не нашли бы эти дубликаты, т.к. они "не могут" оценить то, что отображено на картинках. В этом случае необходимо воспользоваться спец. инструментами (о них ниже ) ...

Image Comparer

Это совсем небольшая утилита, специализирующаяся на поиске похожих изображений. Отмечу, что она сравнивает не просто размер, а то, что изображено на картинке (см. скрин выше). Поддерживаются все популярные форматы картинок и фото: RAW, JPEG, J2K, BMP, GIF, PNG, TIFF, TGA и др.

После проведенного поиска, пред вами предстанет список дубликатов: пройдясь по нему, вы сможете просмотреть все копии и удалить те, которые вам не нужны. Что интересно: программа показывает вам процент похожести тех или иных картинок (разница между ними выделяется при просмотре квадратиками).

Из минусов : если вы укажите большой диск (в несколько терабайт) - программе потребуется очень большое время на сканирование. Рекомендую перед ее использованием пройтись по картинкам с помощью более грубых инструментов (например, CCleaner, AllDup и пр., см. выше) .

DupeGuru Picture Edition

Очень простенькая утилита, которая предназначена для быстрого поиска одинаковых картинок. Отмечу, что похожие картинки будут найдены даже если у них разный формат (например, JPG и Tiff как на скрине выше).

Из преимуществ утилиты:

  • наглядное сравнение картинок;
  • программа полностью бесплатна;
  • простой интерфейс, выполненный в стиле минимализма;
  • поддержка русского языка;
  • возможность экспортировать результаты поиска;
  • поддержка всех самых популярных версий Windows XP, 7, 8 ,10.

ImageDupeless

Программа ImageDupeless позволяет находить дубликаты картинок в независимости от размера файлов, их формата, разрешения и пр. характеристик (она как бы за вас "посмотрит" все картинки и найдет похожие).

Также в программе есть весьма интересная функция записи изображений на CD диски (создание своеобразных CD галерей).

Примечание : для экономии времени вновь поступающие картинки сравнивайте с уже имеющейся галереей (так вы сэкономите кучу времени, т.к. полное сканирование всех картинок на диске - это значительно дольше, чем уже искать в созданной галереи) .

Результат сравнения: обратите внимание, что разрешение и размер у картинок разный!

Visual Similarity Duplicate Image Finder

Программа использует продвинутые алгоритмы для сравнения графических образов, имеющихся на картинках и фотографиях. Благодаря этому удается найти похожие и одинаковые картинки, даже если у них разный формат (GIF, PNG, JPG и пр.) и разрешение.

Отмечу, что у пользователя есть опция для указания признака похожести (т.е. вы можете задать, скажем, найти только те картинки, которые схожи друг с другом на 95%).

После проведения поиска: вы сможете просмотреть все найденные дубли и вручную удалить все ненужное. Кстати, программа располагает рядом с друг другом 2 одинаковые изображения (пример см. выше), чтобы вы могли наглядно просмотреть разницу. Весьма удобно!

Для поиска аудио- и видео-файлов

Audio Comparer (Электронное ухо)

Audio Comparer - программа прослушает почти 300 треков за 10 мин.

Audio Comparer - это не такое простое приложение для поиска дублей среди музыкальных файлов (MP3, MP2, MP1, WMA, AIF, WAV, WavPack, FLAC, APE, AAC и OGG), как это может показаться при первом взгляде... Оно "слушает" музыку и сравнивает треки между собой по особому алгоритму: сравнение идет по аудио-дорожке, а не по размеру или названию файла (как это сделано во многих других аналогах).

Благодаря чему, одинаковые треки могут быть найдены даже в том случае, если они сохранены в разные форматы. Audio Comparer - это, своего рода, электронное ухо, которое может очень быстро прослушать всю вашу музыку.

Отмечу, что подобных программ достаточно мало, поэтому каждая заслуживает отдельного внимания! Рекомендую к знакомству!

DupeGuru Music Edition

Весьма интересная программа dupeGuru Music Edition для поиска одинаковых и похожих музыкальных треков. В наличии есть фильтры для поиска: по битрейту, информации в тегах, продолжительности, размеру и т.д.

Поддерживаются все самые популярные форматы: MP3, WMA, AAC, WMA, OGG, FLAC. После произведенного поиска, найденные дубликаты можно либо удалить, либо перенести в другие каталоги.

Отметил бы также наличие русского языка и поддержку современных ОС Windows 7, 8, 10 (в т.ч. 64 bits).

Music Duplicate Remover

Music Duplicate Remover - утилита позволяет легко и быстро находить копии аудио-файлов, расположенных в разных папках (дисках) и сохраненных в различных форматах. Благодаря технологии "электронного уха", она способна прослушать все ваши композиции на диске, проанализировать их и предоставить вам отчет со всеми похожими треками (пример такого отчета показан на скриншоте выше).

Отмечу, что утилита отлично работает и со стандартными предустановками (т.е. после ее загрузки и запуска - нет нужды долго копаться в настройках, можно сразу же приступать к сканированию).

Примечание! Music Duplicate Remover поддерживает следующие форматы аудио: MP3, WMA, OGG, FLAC, APE, WAV.

Duplicate Video Search

Довольно мощная программа для удаления одинаковых видео, сохраненных в разных папках (подойдет тем, у кого много всяких видеороликов, музыкальных клипов, сборников топ-100 и пр.). Поможет "прошерстить" вашу коллекцию файлов и удалить все дубли.

Отмечу, что в программе используется технология уникального "слепка" (т.е. своего рода "электронный глаз"), которая позволяет находить похожие видео, даже если они сохранены в другой формат, у них другое разрешение и они сжаты другим кодеком.

Особенности:

  1. поддерживаются следующие форматы видео: AVI, MKV, 3GP, MPG, SWF, MP4, WMV, WTV и FLV (см. скрин выше);
  2. поиск полных копий видео и похожих (где отличное разрешение, битрейт, формат, кодек);
  3. программа автоматически выбирает видео с худшим качеством среди всех дублей (тем не менее, вы вручную можете указать, какую копию удалять);
  4. удобное и наглядное представление результатов поиска: миниатюры к каждому видео и путь до каталога, где оно хранится;
  5. прямо из окна программы можно либо просмотреть видео, либо удалить его.

Video Comparer

Video Comparer - программа предназначена для поиска и сравнения видео на жестком диске. За относительно короткий промежуток времени, она может просмотреть все ваши видео и показать вам в удобной табличке все файлы, которые повторяют друг друга (полные дубли, похожие ролики, видео с одинаковым содержимым, но разным качеством и пр.).

Отмечу, что в программе есть различные фильтры, которые позволят, например, искать видео только определенного формата (или задать продолжительность видео).

Особенности:

  1. поддерживает форматы: 3GP, AVI, ASF, ASX, WMV, VOB, XVID, MP4, MPEG;
  2. возможность вести поиск среди скрытых файлов;
  3. возможность автоматического выделения похожих видео для удаления;
  4. фильтры видео по продолжительности, качеству и расширению;
  5. удобное представление результатов поиска: превью к каждому видео; размер; папка, где оно расположено; название; процент схожести.
  6. возможность резервного копирования в отдельную папку;
  7. ведение логов;
  8. поддержка почти всех популярных Windows XP, 7, 8, 10 (32/64 bits).

Дополнения, как всегда, приветствуются.

Удачной работы!

С появлением винчестеров размером 10 Гб и больше уже не встает вопрос о дефицитности дискового пространства, но и это не дает нам повода халатно разбазаривать дисковое пространство, которое можно с успехом отдать под более полезные вещи, например фильмы в формате MPEG4:)

Итак представим себе, что у нас есть огромная коллекция чего либо, что расположено в различных папках и вроде бы классифицировано. Это могут быть коллекции музыки в формате mp3, рисунков, клипартов, шрифтов, рефератов, текстов, дистрибутивов и прочего так сказать хлама, который мы храним "на всякий случай" :) Проблема только в том, что среди этих коллекций затесались двойники. Это абсолютно одинаковые файлы, которые просто различаются именем или даже имеют одинаковые имена но находятся в разных директориях. Напрашивается естественный вывод - убить двойников. Но как их найти?

Зайдите в ту директорию в которой, как вы предполагаете находятся двойники и вызовите инструмент "Поиск" (Alt+F7, а я все время путаю с Alt+F8, который кстати вызывает историю команд набранных в командной строке). Если вы еще не замечали, то в открывшемся диалоге поиска есть три закладки. Смело открываем среднюю закладку "Расширенный".

В самом низу диалога расширенного поиска вы можете увидеть "Поиск дубликатов" - поставим там галочку, а чуть ниже выберем условия поиска дубликатов: по имени, по имени и размеру, по имени по размеру и по содержимому или по размеру и по содержимому.

Смело жмем "Начать поиск!" и Total Commander найдет вам дубликаты, которые будут перечислены в окне результатов поиска и будут разделены пунктирной линией.

Удобнее всего сейчас нажать на кнопку "Файлы на панель" и окно диалога поиска исчезнет, но зато в одной из файловых панелей будет открыта временная панель в которой будут перечислены все дубликаты из окна результатов. Теперь я советую нажать Ctrl+Q и можете перед удалением файла проверять действительно ли файлы являются дубликатами.

Если у вас не отображаются изображения gif jpg psd и другие, не проигрывается музыка в формате mp3 и видео, значит у вас не установлен или не настроен

После долгого, постоянного пользования компьютером, на его дисках, как ни крути, накапливаются большие объёмы данных, т. е. всякие фотографии, видео, фильмы, музыка, документы и прочее. Когда данные занимают много места - это нормально, к примеру, у меня самого нужных данных более чем на 600 Гб, а в кого-то ещё больше. Но очень часто слишком много места занимают дубликаты файлов.

Такие файлы могут появляться, когда вы, к примеру, переносите их откуда-то в новое место на диске, забывая, что у вас уже такие файлы на этом диске имеются. И ладно если навалом дубликатов всяких документов, но когда много дубликатов фоток, музыки и особенно видео, то это, как правило, отнимет у вас прилично места на диске. Недавно проверял и обнаружил, что дубликаты съедают у меня порядка 100 Гб. на жёстком диске, что, на мой взгляд, весьма много:)

В данной статье я покажу вам простой способ найти все дубликаты файлов в Windows на ваших дисках, чтобы вы могли легко проверить их и быстренько удалить всё ненужное.

В Windows, к сожалению, нет нормальных встроенных средств для поиска дубликатов файлов. Есть вариант сделать это через командную строку PowerShell, но это очень неудобно, тем более для новичков будет сложновато. Поэтому проще воспользоваться сторонними программами. Одна из таких называется AllDup. Она полностью бесплатная, доступна на русском языке, поддерживается всеми операционными системами Windows и, наконец, довольно проста в использовании.

Загрузка и установка программы AllDup

Программу можно загрузить бесплатно с официального сайта AllDup. Ниже ссылка на раздел загрузки:

Программа доступна в двух вариантах: обычном установочном и портативном (Portable). Портативный отличается тем, что не требует установки на компьютер, т. е. программу можно будет запускать прямо из скачанной папки.

Для скачивания нажмите кнопку «Server #1», либо «Server #2» или «Server #3» (если по первой кнопке скачивания не происходит, даны запасные серверы) под нужной версией программы.

Прямые ссылки на скачивание последней на сегодняшний день версии (март 2017) AllDup: стандартная версия , портативная версия . За свежими версиями всегда обращайтесь к официальному сайту AllDup!

Установка программы очень проста, можно сказать, состоит из последовательных нажатий «Далее», никаких специальных настроек производить не нужно. Поэтому данный процесс я рассматривать не буду.

Подробнее о нюансах установки программ для Windows рассказано

Поиск дубликатов при помощи AllDup

После того как установите программу, запустите её. Откроется главное окно для настроек поиска:

Настройка поиска включает в себя несколько этапов:


Это все основные этапы настройки поиска, остальные можно не задействовать.

Теперь, для запуска поиска дубликатов, нажмите кнопку «Поиск» вверху окна AllDup:

Начнётся процесс поиска.

Чем больше файлов в указанных вами папках находится на ваших дисках, тем дольше будет идти поиск.

После того как поиск будет завершён, программа в виде таблицы отобразит найденные файлы с дубликатами.

Первое, что лучше сделать сразу - сохранить результаты поиска, потому что если вы сейчас закроете это окно с результатами, то потом поиск придётся выполнять заново. Для сохранения нажмите кнопку с изображением дискеты, либо выберите в верхнем меню «Результат поиска» и нажмите «Сохранить результат поиска».

Теперь, даже если вы выключите компьютер, запустив потом программу снова, вы сможете вновь добраться до результатов поиска.

Результаты поиска вы можете отсортировать по разным параметрам, кликая по заголовкам столбцом в таблице. Наиболее полезный, на мой взгляд, критерий для сортировки - размер файлов. Поэтому, если хотите чтобы вверху таблицы отображались самые большие найденные файлы, то кликните по столбцу «Размер (Байт)».

Следующее, что лучше настроить для удобства просмотра результатов - отображаемый размер. Изначально размер файлов программа показывает в байтах, что не очень удобно. Лучше выставить отображение в мегабайтах или даже гигабайтах. Для этого нажмите кнопку, отмеченную на скриншоте ниже (1), после чего отметьте один из вариантов (2):

Теперь остановлюсь на том, как, собственно, пользоваться результатами поиска, как посмотреть и удалить ненужные дубликаты…

Найденные дубликаты программа делит на так называемые группы. Одна группа - это все найденные копии одного и того же файла, включая оригинал (он тоже будет отображаться в этой группе).

Чтобы посмотреть дубликаты одной из групп, нужно её открыть, кликнув по стрелочке. Пример:

Раскрыв определённую группу, вы можете проверить, что это за файл, открыв его. Для этого просто дважды кликните по файлу в группе либо нажмите ПКМ и выберите «Открыть файл». Файл будет открыт через стандартную программу Windows, через которую у вас обычно открываются все файлы выбранного типа.

Чтобы удалить дубликаты, отметьте их галочкой, щёлкните ПКМ и выберите один из вариантов: удаление файла в корзину Windows либо безвозвратное удаление.

Соответственно, не удаляйте все файлы из группы, потому что так вы удалите и дубликаты и оригинал сразу! Например, если в группе 3 файла, то удалив сразу 3, вы удалите и оригинал и 2 дубликата. В этом случае, чтобы сохранить только единственную копию файла, вам нужно удалить 2 файла из группы.

Таким образом, вы можете проверять отдельно каждую группу и удалять дубликаты. Но если информации найдено очень много, можно сделать проще. Сделать так, чтобы программа автоматически выбрала в каждой группе все файлы, кроме одного (т. е. только дубликаты), после чего вы можете разом избавиться от всех дубликатов или перед этим пробежаться и перепроверить, точно ли всё отмеченное подлежит удалению.

Чтобы автоматически отметить дубликаты, зайдите в меню «Выбор» (1) и отметьте включите там один из вариантов (2), например, «Выбрать все файлы, за исключением первого файла».

В результате программа в каждой группе выделит 2 дубликата, а первый в списке файл оставит не выбранным. То есть, таким образом, вы отметите 2 дубликата, а оригинал останется не отмеченным. Или же можете через меню «Выбор» попробовать другие опции, удобные вам.

После того как программа отметила файлы, вы можете перепроверить выбор, если требуется. А чтобы быстро всё ненужное удалить или выполнить какое-то другое действие, нажмите кнопку, отмеченную на скриншоте ниже:

В открывшемся окне вы увидите общий объём выбранных файлов, т. е. сколько места занимают найденные дубликаты и количество выбранных файлов. Внизу вам нужно выбрать действие над выбранными файлами. Вы можете удалить файлы через корзину, удалить безвозвратно (пункт «Удаление файлов»), скопировать или переместить файлы в какую-либо папку, а также переименовать найденные дубликаты. Если вы уверены в том, что отмеченные файлы являются дубликатами и больше вам не нужны, то проще их удалить, но в любом случае выбор за вами.

Итак, выберите нужное действие (1) и нажмите «ОК» (2). Больше здесь можно ничего не настраивать.

После этого программа произведёт выбранное вами действие над отмеченными ранее файлами!

Вот и весь процесс:) Чтобы выйти из результатов поиска просто закройте это окно. Если вы сохранили результаты поиска, то затем, если вам снова потребуется этот результат, вы можете добраться до него через раздел «Результат поиска» (1) в главном окне программы. Сохранённые вами результаты будут отображены в таблице (2). Чтобы открыть нужный результат просто кликните по нему дважды.

Заключение

AllDup – очень удобная программа для поиска дубликатов ваших файлов на компьютере. В программе нет, по сути, ничего лишнего, в ней есть все нужные инструменты, фильтры и параметры для быстрой обработки большого объёма найденных дубликатов. Конечно, есть и аналогичные программы, которые наверняка тоже хорошо справляются со своей задачей. Я пробовал пока что только AllDup и менять её пока не вижу никакого смысла.


Здравствуйте дорогие читатели. Сегодня мы с вами поговорим о дубликатах файлов, а также о методах борьбы с ними.

Исходя из самого названия вы, наверное, уже догадались, что это за файлы. Такие вот повторяющиеся файлы очень загрязняют жесткий диск, поэтому от них нужно периодически избавляться.

Дубликаты появляются на компьютере произвольно и из-за невнимательности пользователей. Хотя все мы люди и нам свойственно накапливать всякую всячину. Какой бы большой объем памяти не имел ваш жесткий диск – после удалению дубликатов он станет намного свободнее, нежели был до совершения этого процесса.

К большому сожалению, удаление дубликатов файлов невозможно произвести без посторонних программ. Разработчики Windows почему-то упустили этот момент, но люди нашли выход. В интернете есть масса бесплатных программ для избавления от дублирующих файлов. Ниже я приведу три лучшие из них, а также дам вам возможность их скачать.

CloneSpy

Очень простая и удобная утилита для очистки вашего компьютера от дубликатов файлов. После запуска CloneSpy производит поиск по контрольным суммам файлов, игнорируя при этом дату и время их создания, размер и т.д. Такой метод поиска дубликатов файлов позволяет сделать более точный и детальный поиск.


Но CloneSpy имеет также и минус, поскольку в результатах поиска, помимо копий может отобразить файлы с одинаковым именем.

Скачать бесплатно утилиту CloneSpy

Auslogics Duplicate File Finder

Более мощная программа поиска файлов-дублей. Делает детальный анализ жесткого диска на наличие одинаковых файлов, в конце которого вы получите список со всеми найденными дубликатами.


Я заметил, что Auslogics Duplicate File Finder хорошо специализируется на поиске мультимедийных файлов-дублей, а это гигабайты одинаковых музыкальных треков, фильмов, картинок и т.д.

Скачать бесплатно программу Auslogics Duplicate File Finder


DupKiller

Тоже очень хорошая программа для поиска и удаления дубликатов файлов. Очень понравилась функция установки процента допустимого совпадения, который вы можете установить вручную перед запуском анализа жесткого диска.

Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

  • поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
  • высокая скорость работы;
  • бесплатная и с поддержкой русского языка;
  • очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

A

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…

Duplicate Video Search

Функциональная утилита, которая легко и быстро находит похожее видео на вашем диске. Перечислю некоторые главные возможности:

  • выявление копии видео с разными битрейтами, разрешениями, характеристиками форматов;
  • авто-выбор копий видео с более худшим качеством;
  • выявлять измененные копии видео, в том числе с разным разрешением, битрейтом, обрезкой, характеристиками форматами;
  • результат поиска представляется в виде списка с миниатюрами (с показом характеристик файла) - так что вы легко сможете выбрать, что удалять, а что нет;
  • программа поддерживает практически любые форматы видео: AVI, MKV, 3GP, MPG, SWF, MP4 т.д.

Результат ее работы представлен на скриншоте ниже.

Из недостатков : программа платная и она на английском. Но в принципе, т.к. настройки не сложные, а кнопок не так много, пользоваться вполне комфортно и отсутствие знания английского - никак не должно сказаться на большинстве пользователей, которые выберут эту утилиту. В общем, рекомендую к знакомству!

На этом у меня все, за дополнения и уточнения по теме - благодарю заранее. Удачного поиска!