1 Поиск и удаление дубликатов файлов » 3domen.com - сайт Сергея и Марины Бондаренко
Регистрация  Напомнить пароль?
 Отправлено SergeyMarina 13 ноября 2009   

Поиск и удаление дубликатов файлов Наведение порядка на жестком диске выгодно во всех отношениях. Во-первых, после тщательной сортировки становится легче ориентироваться в записанной информации - не нужно тратить время на поиски недавно загруженного из сети фильма, программы и т.д. Во-вторых, благодаря «генеральной уборке» дисковое пространство расчищается от случайно повторяющихся файлов, и свободного места становится больше. Один недостаток – подобное профилактическое мероприятие отнимает у пользователя слишком много времени. Именно поэтому многие откладывают разбор накопившихся архивов до последнего момента, пока не появляется сообщение о нехватке свободного места на диске. Чтобы сэкономить время на поиск одинаковых файлов, можно использовать специальную утилиту.

О таких программах читайте в сегодняшнем обзоре.






Наведение порядка на жестком диске выгодно во всех отношениях. Во-первых, после тщательной сортировки становится легче ориентироваться в записанной информации - не нужно тратить время на поиски недавно загруженного из сети фильма, программы и т.д. Во-вторых, благодаря «генеральной уборке» дисковое пространство расчищается от случайно повторяющихся файлов, и свободного места становится больше. Один недостаток – подобное профилактическое мероприятие отнимает у пользователя слишком много времени. Именно поэтому многие откладывают разбор накопившихся архивов до последнего момента, пока не появляется сообщение о нехватке свободного места на диске. Чтобы сэкономить время на поиск одинаковых файлов, можно использовать специальную утилиту. О таких программах и пойдет речь в этом обзоре.

Super DeDupe 2

Тысячи и тысячи файлов разного содержания - отсортировать такой объем данных трудно по нескольким причинам. Во-первых, большинство информации упаковано в архивы, для распаковки которых нужно опять-таки иметь свободное пространство на жестких дисках. Кроме этого, процесс извлечения файлов из архивов занимает достаточно много времени. Наконец, файлы могут содержать одинаковую информацию и лишь незначительно отличаться. Например, две копии одной и той же аудиозаписи могут содержать разные данные, записанные в тэгах, и поэтому могут выглядеть как разные файлы. Трудности с определением могут возникнуть и с двумя одинаковыми музыкальными файлами, сохраненными дважды на жесткий диск. Ввиду того, что у них разная дата создания, идентифицировать такую копию сможет не каждая утилита для поиска дубликатов.

Поиск и удаление дубликатов файлов

Все эти сложности можно обойти с помощью программы Super DeDupe. Обладая наглядным интерфейсом в стиле MS Office 2007, эта утилита сочетает в себе простоту использования и удобство поиска повторяющихся файлов. Помимо возможности задавать различные критерии поиска (примерной даты создания или изменения файлов до минимального или максимально возможного размера), обязательной для такого рода утилит, Super DeDupe может похвастаться уникальными функциями. Одна из них - поиск в архивах. При знакомстве с программой особенно порадовало, что помимо популярных форматов сжатия, таких как RAR и ZIP, программа позволяет исследовать содержимое архивов 7z, которым многие пользователи отдают предпочтение по причине высокой степени сжатия.

Тем, кто давно мечтает навести порядок в своей музыкальной коллекции, будет интересно узнать, что Super DeDupe может сравнивать музыкальные файлы не только по названию, размеру и информации в тэгах, но даже по звучанию. Найденные похожие аудиозаписи можно прослушать прямо в программе, используя встроенный проигрыватель.

Обнаруженные дубликаты Super DeDupe помечает звездочкой, а при выделении одного из клонов показывает информацию о присутствующих двойниках на диске. Управляя найденными дубликатами в окне программы, можно удалить повторяющиеся файлы или исключить их из результатов.

Duplicate Finder 3.5

Поиск копий файлов – достаточно сложная задача, поскольку одинаковые файлы могут иметь разные названия или, наоборот, файлы с одинаковыми именами окажутся совершенно разными. Таким образом, вполне можно удалить полезную информацию, в то время как дубликаты будут и дальше засорять жесткий диск. В Duplicate Finder предусмотрено множество вариантов обнаружения копий. Так, в процессе поиска программа может выполнять побайтовое сравнение или проверять контрольную сумму. Впрочем, если вы хотите найти файлы с одинаковыми названиями, то и эту задачу при помощи программы можно решить без всяких проблем. Кроме этого, интересно наличие режима Fuzzy Logic, в котором файлы, отличия между которыми незначительны, будут показываться как одинаковые. Среди других параметров, которые задаются перед началом поиска, можно выделить поиск в скрытых папках, защита системных папок от удаления файлов, поиск файлов с нулевым размером.

Поиск и удаление дубликатов файлов

В рамках одного задания для поиска можно указывать несколько папок, указывая для каждой свои настройки. Например, в одной папке можно ограничить поиск файлами, созданными в определенный промежуток времени, а в другой – файлами того или иного размера. Кроме этого, есть возможность устанавливать фильтры по типам файлов - текстовых, видео, аудио и пр. Можно ограничивать поиск определенными типами файлов или же, наоборот, исключать те или иные типы из поиска. Стоит отметить и возможность исключения определенных папок из области поиска. Это полезно, если вы хотите произвести поиск по всему жесткому диску, но не хотите, чтобы программа работала с теми директориями, в которых точно нет нужных файлов.

Как только процесс сканирования будет запущен, вы сможете наблюдать за ходом работы в строке состояния. Тут показывается процент выполнения задачи и общее количество обработанных файлов. Увидеть же найденные дубликаты можно только тогда, когда поиск будет завершен (впрочем, при желании вы можете прервать сканирование и увидеть промежуточные результаты). Найденные файлы представлены в окне программы в виде списка, в котором каждая вторая пара одинаковых файлов выделена цветом. В этом списке можно просмотреть подробную информацию о файле: название, расширение, путь на диске, размер, дата последнего изменения. Не покидая окна Duplicate Finder, можно переместить файл в другую папку, удалить его, скопировать, открыть в "Проводнике", просмотреть его свойства.

DupKiller 0.82

DupKiller позволяет выполнять поиск дубликатов не только на локальных жестких дисках, но и на других типах носителей: на сетевых, виртуальных, RAM-дисках, а также на флэш-накопителях и CD/DVD-носителях. Многочисленные параметры поиска разбиты на несколько групп. Так, можно указать папки, в которых нужно производить поиск, указать типы файлов, на которые программа будет обращать внимание, при необходимости выбрать папки, которые должны быть пропущены, а также внести в список исключений те или иные расширения файлов.

Поиск и удаление дубликатов файлов

Сравнение файлов может выполняться по типу, по размеру, по названию, по дате создания, причем, любой из этих критериев может использоваться как независимо, так и в сочетании с другими. Стоит отметить и функцию сравнения по содержимому, выбрав которую пользователь может указать, нужно ли начинать обрабатывать файлы с начала или с конца, а также определить при какой проценте схожести их можно считать дубликатами. Если и интересная функция поиска файлов с похожими названиями, при выборе которой можно указать, нужно ли игнорировать расширение. Дополнительно есть возможность указать атрибуты файлов и папок, для которых должен выполняться поиск.

После завершения поиска DupKiller показывает результаты в виде списка, визуально отделяя группы одинаковых файлов друг от друга. Чтобы убедиться в том, что файлы действительно одинаковые, можно воспользоваться функцией просмотра, которая доступна для текстовых файлов, а также для популярных графических форматов. Работая со списком файлов, дубликаты можно выделить или же помечать флажком. Когда работа со списком обнаруженных файлов будет завершена, все помеченные или выделенные файлы можно быстро удалить. По умолчанию файлы удаляются в Корзину, но при желании в настройках DupKiller можно выбрать мгновенное удаление с жесткого диска. Там же можно включить или отключить возможность удаления папок, определить, должна ли программа спрашивать подтверждения при удалении разных типов данных.

CloneSpy 2.35

CloneSpy может привлечь своим бесплатным статусом, а также тем, что не требует установки и потому легко может быть запущена с USB-накопителя. Программа отличается от большинства аналогов тем, что выводит найденные дубликаты по ходу выполнения задания, а не после ее завершения, как другие программы. Как только повторяющиеся файлы будут обнаружены, откроется отдельное окошко, в котором будет представлена информация о файле, а также будут доступны кнопки, при помощи которых можно удалить файл, выделить его, запустить, открыть в "Проводнике", перейти к следующей группе.

При работе с большими объемами данных вывод каждой группы повторяющихся файлов в отдельном окне может быть неудобен. Разработчик предусмотрел этот вариант – перед началом сканирования в настройках программы можно выбрать вывод результатов в виде отдельного списка. Однако стоит иметь в виду, что в этом случае работать с уже найденными дубликатами до завершения процесса сканирования вы не сможете.

Поиск и удаление дубликатов файлов

Интересно, что в CloneSpy можно указать две группы папок, содержимое которых будет анализироваться на предмет дубликатов, но при этом папки, отнесенные к каждой из групп, между собой сравниваться не будут. Такой режим может быть удобен, например, если нужно сравнить содержимое двух жестких дисков.

При желании работу программы можно автоматизировать, задав автоматическое удаление найденных файлов. Программа может сама отправлять в Корзину файлы большего или меньшего размера, имеющие более длинное или короткое название, а также более новую дату создания. Если вы сравниваете две группы папок, как это было описано выше, то можно автоматически удалять те файлы, которые относятся к одной из них.

CloneSpy имеет достаточно много настроек сканирования. Чтобы каждый раз не выставлять нужные параметры, можно сохранить их в отдельном файле и загружать в программу. Если же вы постоянно используете один и тот же профиль настроек, то можете указать путь к соответствующему файлу на диске, и профиль будет загружаться автоматически при запуске программы.

Duplicate File Detective 2.2

Производить зачистку от ненужных повторяющихся файлов в Duplicate File Detective можно как с помощью встроенного пошагового мастера обнаружения дубликатов, так и вручную, установив параметры поиска идентичных данных. Программа может проверять идентичность файлов по контрольной сумме, причем, в настройках можно указать алгоритм, по которому эта сумма будет вычисляться (C32, ADLE 32, MD5 и многие другие).

Одна из отличительных особенностей Duplicate File Detective – возможность создавать проекты для каждой сессии поиска. Каждый такой проект включает в себя все настройки, в том числе директории дисков, где будет производиться поиск, тип повторяющихся файлов, время последнего доступа к файлу и прочие правила определения одинаковых данных. Такие проекты удобно использовать в тех случаях, когда требуется регулярно выполнять поиск дублирующихся данных с разными настройками.

Поиск и удаление дубликатов файлов

После сравнения согласно заданным критериям поиска, Duplicate File Detective генерирует список результатов. Этот отчет может быть экспортирован в HTML, формат CSV (просматривается различными приложениями, например, Excel) и XML. На основании полученной статистики, программа строит диаграммы общего числа файлов и количества дубликатов. По этой диаграмме можно также составить представление о том, файлы каких форматов повторяются чаще, а какие - реже.

Один из очень удобных инструментов программы - File Hash Calculator. Этот калькулятор позволяет узнать контрольную сумму для любого из указанных файлов. Применений такой «мелочи» можно найти множество – например, эту функцию программы можно использовать перед загрузкой большого файла из Интернета, исключая возможность повторного скачивания.

Duplicate File Detective поддерживает работу с командной строкой и позволяет использовать функцию «интеллектуального выделения» Smart mark, которая дает возможность быстро удалять обнаруженные копии, архивировать их или перемещать в указанную папку на жестком диске. В программе имеется возможность предварительного просмотра изображений в графических форматах BMP, EMF, GIF, ICO, JPEG, PNG, TIFF и WMF.

В процессе сортировки повторяющихся файлов нельзя исключить вариант случайного удаления важной информации. Для того чтобы перестраховаться от подобной неприятности, в программе предусмотрена функция удаления файлов в корзину – не забудьте ее включить.

Image Comparer 3.6

Подавляющее большинство утилит для поиска дубликатов работают по принципу сравнения названия, размера, дате создания или контрольной суммы файлов. Однако в некоторых случаях такой подход к определению повторяющихся данных не подходит. Например, графические файлы могут быть в разном разрешении, с разной степенью сжатия, но при этом содержать одинаковое изображение. При поиске такого совпадения, естественно, предпочтение должно быть отдано файлу с лучшими параметрами. Image Comparer дает возможность обнаружить повторяющиеся графические файлы, даже если они отличаются по разным характеристикам или просто похожи. Данная утилита поддерживает большинство популярных графических форматов, включая RAW, JPEG, J2K, BMP, GIF, PNG, TIFF, TGA и другие.

Поиск и удаление дубликатов файлов

Image Comparer специально рассчитана на тех людей, которые работают с большим количеством графики. Это могут быть, например, дизайнеры, собирающие клипарт для своих проектов, или любители цифровой фотографии, которые привыкли делать массу одинаковых снимков за одну фотосессию.

Утилита может обрабатывать изображение внутри одного набора файлов или сравнивать между собой две группы изображений. Для сравнения программа использует параметр "порог схожести", который определяет, насколько идентично изображение на паре дубликатов.

Обнаруженные повторяющиеся результаты Image Comparer показывает в виде пары изображений. Для наглядности можно включить режим обнаружения отличий в снимках. В этом режиме утилита обведет те фрагменты фотографий, в которых отличие наиболее заметно.

Поиск похожих изображений занимает некоторое время, продолжительность такого анализа напрямую зависит от количества обрабатываемых файлов. Чтобы работа Image Comparer в этот момент не мешала выполнять другие действия на компьютере, для программы можно установить более низкий приоритет.

При использовании Image Comparer следует помнить, что наиболее быстро обрабатываются JPEG-изображения, а дольше всего обрабатывается формат RAW. Кроме того, низкий «порог схожести» увеличивает время анализа изображений.

К сожалению, поиск дубликатов в этой программе ограничен исключительно графическими файлами, однако с этой задачей Image Comparer справляется очень хорошо.

Moleskinsoft Clone Remover 3.4

Программа Clone Remover – один из немногих инструментов для поиска различных повторяющихся файлов, где имеется алгоритм идентификации схожих изображений. Однако, в отличие от Image Comparer, никаких настроек для определения разброса отличий между похожими файлами в программе нет.

Поиск одинаковых файлов в программе реализован в виде мастера. На этапе выбора директорий, в которых следует выполнять поиск, у пользователя появляется возможность искать не только на локальном, но и на удаленном компьютере. Для этого в программе необходимо смонтировать сетевой диск, после чего к нему можно будет обращаться как к обычному диску.

Поиск и удаление дубликатов файлов

Clone Remover может быть полезной и для тех, кто слушает музыку, используя плеер iTunes. Чтобы использовать в этом случае Clone Remover для поиска одинаковых композиций, iTunes должен быть запущен в течение того времени, пока выполняется поиск данных. После окончания поиска можно одним нажатием выделить сразу группу файлов, повторяющих уже существующие. Для этого следует предварительно настроить фильтр, определяющий свойства выделяемой копии, например, выделять только файлы-повторы с расширением JPG.

Заключение

С появлением все более быстрых способов доступа в Интернет количество скачиваемых пользователями файлов увеличилось настолько, что порой загружая архив с файлами, пользователь сразу не успевает просмотреть и рассортировать добытую в сети информацию. В результате беспорядок на винчестерах достигает катастрофического размера, а свободное место на терабайтных жестких дисках неумолимо тает. Самое время воспользоваться одной из программ для поиска дубликатов файлов, о которых шла речь в этом обзоре. Super DeDupe поможет, если необходимо обнаружить повторяющиеся файлы, спрятанные в архивах, Duplicate Finder интересен возможностью проверки контрольной суммы. CloneSpy и DupKiller привлекательны своим тут бесплатным статусом, а кроме этого, последний интересен возможностью поиска на разных типах носителей. Image Comparer пригодится, если нужно отыскать похожие изображения, а Clone Remover понравится любителям iTunes.


Написано для журнала Chip Сергеем и Мариной Бондаренко

Поиск и удаление дубликатов файлов









Еще по теме:

  • Бесплатная очистка системы от мусорных файлов и дубликатов
  • Image Comparator 1.7.1: поиск дублей среди изображений
  • Три программы для синхронизации данных без "облака"
  • Какой фотоменеджер лучше? Сравнение ACDSee, Ashampoo и Picasa
  • Обзор программ для работы с ID3-тегами



  • Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

    Форум Топик Ответов
    Будьте в курсе новостей