Как найти файлы в поисковике. Поиск документов и данных в интернет

Во-первых, стоит запомнить — все, чего бы вам ни захотелось найти и скачать, можно найти абсолютно бесплатно. В сети очень много таких сервисов, на которые чаще всего и натыкаются неопытные пользователи — где нужно оплатить доступ к ссылке на скачивание, отправить SMS, оплатить по Webmoney или каким-либо другим способом. Очень часто такое бывает, когда вы ищете какой-либо фильм или программу. Вот здесь кроется самое главное: если существует такое место, где можно взять нужный вам файл за оплату, почти всегда есть такое место, где можно взять этот же самый файл бесплатно. В данной статье мы разберемся, как правильно осуществить поиск по файлобменникам.

Вы не первый, кому понадобился этот файл. Кто-то уже скачал этот файл, даже купив его. И более чем 90% вероятность, что это сделал не один человек. Более чем 90% вероятность, что кто-то из них где-то выложил этот файл совершенно бесплатно. Ну, раз уж этот файл где-то есть в сети бесплатно, то остается только найти его.

Где искать необходимые файлы в первую очередь?

Как и где необходимо искать нужные файлы (книги, софт, фильмы и т.п.)? Во-первых, нужно знать где его можно найти, то есть нужно такое место, куда можно файл выложить. И посмотреть там. Вот и все, элементарно.

Торренты. Теперь о том, где искать. Очень хорошее место, где можно найти практически любой файл, который может вам понадобиться — торрент-трекеры. Это очень интересная и полезная штука, хотя и там есть некоторые неудобства. Но о торрентах в другой статье.

Файлобменники. Второе место, где можно взять то, что вам нужно — это файлообменники. Это специализированные сервисы, позволяющие любому пользователю сети выложить туда или скачать оттуда файлы, как бесплатно, так и платно. Причем для этого даже не нужно нигде регистрироваться, если вы пользуетесь файлообменником бесплатно. Подробнее о файлообменниках тоже можно прочесть в другой статье.

Файлообменники — кладезь информации

Итак, файлообменники. Этих сервисов существует великое множество, но наиболее популярны лишь несколько. Нужный вам файл может лежать как на любом из них, так и только на некоторых, или же на одном из них. Причем все зависит от популярности и полезности файла. Допустим, один и тот же фильм можно отыскать в различных вариантах, форматах и размерах, какой вам удобнее. И даже скачать с любого файлообменника, который вам больше нравится, поскольку файлообменники отличаются друг от друга — некоторые могут вам не понравиться, но популярные файлы можно найти на любом из них.

Наиболее популярные файлобменники

Какие файлообменники (их часто коротко называют ФО) наиболее популярны? Достаточно знать только лишь их названия. Это ifolder.ru, depositfiles.com, rapidshare.com, letitbit.net, narod.disk.ru, turbobit.net, hotfile.com. Здесь фавориты — первые четыре из этого списка. По ним нужно искать в первую очередь.

Как же найти нужный файл в ФО?

Загвоздка в том, что все ФО закрытого типа, по ним нет средств поиска. Любой пользователь, который выкладывает туда файл получает ссылку, по которой можно скачать этот файл. Стало быть, наша цель — найти такие ссылки в интернете. Потому что если кто-то залил куда-то некий файл, значит, он где-то оставил и ссылку на этот файл. Причем чаще всего это делается для того чтобы заработать, ибо файлообменник выплачивает вам некую сумму в зависимости от условий, если кто то скачивает ваш файл. При этом, скачивание для скачивающего чаще всего происходит бесплатно, хотя и с некоторым ожиданием (около минуты обычно) и просмотром рекламы. Это тоже очень большая тема, существует целая индустрия и система заработка на файлообменниках.

Значит, нужно найти такое место, где эти ссылки можно найти. Таких мест очень много. По сути, ссылка на нужный вам файл может быть где угодно, но чаще всего это различные форумы и специальные сайты, называемые варезниками (warez — софт, от softWARE). Эти сайты представляют из себя сборники ссылок на файлы. Возможно, вы уже видели такие сайты. На некоторых из них необходимо регистрироваться, чтобы увидеть ссылку на нужный вам файл, но опять же, нам это не нужно. Если есть такое место, где необходима регистрация для того чтобы увидеть ссылку, очень велика вероятность того, что эта же ссылка где-то есть, и в таком месте, где регистрация не нужна. Тот же самый принцип, что и с платными сервисами. Регистрироваться стоит только в самом крайнем случае, если вы эту ссылку больше нигде найти не можете.

Ну вот, наконец, и сам алгоритм поиска, который невероятно прост. Поисковик — это такая система, которая понимает только текст. А ссылки — это и есть текст. Стало быть, он нам может их найти. Берем название вашего файла (книги, фильма, музыкальной композиции, программы) и вводим в поисковую строку Google. Если вы попробуете поискать так, то скорее всего Гугл вам выдаст такие места, откуда качать вам будет неудобно, это будут в первую очередь сайты, где надо платить за скачивание, поскольку такие сайты специально оптимизируются под то, чтобы быть первыми в результатах поиска. То, что вам нужно будет в выдаче поисковика, далеко не на первой странице. Значит, просто добавляем к вашему запросу название файлообменника. То есть ваш запрос будет выглядеть теперь так: «запрос+файлообменник».

Как составить запрос в поисковике?

Допустим, мне нужен фильм под названием «Вася Пупкин — герой войны». И хочу я его скачать с файлообменника letitbit.net. Вот я и задам запрос «Вася Пупкин — герой войны+letitbit». (Надо заметить, что в строке поиска Google этот запрос будет без кавычек, ибо кавычки там имеют особое значение, и по такому запросу ничего не найдется.) Вот, в результатах этого запроса вы найдете то, что вам нужно на первой же странице поисковой выдачи. Если, конечно, такая ссылка существует, и проиндексирована Гуглом, но об этом не стоит беспокоиться: если не найдет он, не найдет ничто.

Теперь, если вам нужно искать по нескольким файлообменникам одновременно, то можем постороить запрос следующим образом:

ваш запрос+»файлообменник1″|»файлообменник2″|»файлообменник3″

Здесь кавычки играют роль такую, что то, что находится в кавычках, должно обязательно присутствовать на искомой странице, в данном случае — ссылка на файлообменник. Вертикальный слеш означает «или», то есть что либо из этих трех. Допустим, я хочу поискать «Васю Пупкина» на нескольких самых популярных файлообменниках, значит, запрос мой будет таким:

Вася Пупкин — герой войны+»ifolder.ru»|»letitbit.net»|»rapidshare.com»|»depositfiles.com»|»narod.disk.ru»

Существуют, кстати, сервисы, которые позволяют искать по файлообменникам, но ничего нового они не используют — все тот же алгоритм, все тот же Google. Зачем они вам нужны, если можно задать запрос прямо в поисковой панели вашего браузера.

Вот, собственно, и вся хитрость, такой поиск позволяет найти и скачать то, что вам нужно за считанные секунды.

Задаем параметры поиска файлов в поисковой системе FileSearch

Поисковая система FileSearch, специально предназначенная для поиска файлов, доступна по адресу filesearch.ru. Попав на нее, вы должны ввести имя искомого файла. Через точку вы можете указать расширение. Во втором поле поискового запроса вы должны выбрать, какого рода файлы вы хотите искать. По умолчанию поиск производится по именам всех файлов и по названиям папок (каталогов). Вместо этого вы можете выбрать:

• Музыка.
• Изображения.
• Видео.
• Сервер.

По большому счету, вы можете не конкретизировать тип искомого файла, а просто указать его расширение.

В третьем поле-списке вы можете указать, по каким конкретно доменам вы хотите искать: com, ru, org и так далее По умолчанию поиск производится по всем доменам.

В поисковом запросе можно использовать подстановочные знаки: «*» (звездочка) - заменяет собой произвольную группу символов, и «"."» (вопросительный знак) - обозначает один произвольный символ. Например, если вы укажете в поисковом запросе *.avi, вам будут найдены все файлы с расширением avi.

Если укажете da*.avi, вам будут найдены все файлы, названия которых начинаются на буквосочетание da (дальше любое произвольное количество символов в названии) и имеют расширение avi. Если же задать в качестве критерия поиска da??.avi, то для вас будет вестись поиск файлов, в названии которых четыре буквы, первые из которых da, и имеющие расширение avi.

Поиск файлов с помощью Рамблера

Известная поисковая система Rambler, помимо всего прочего, обладает возможностью файлового поиска.

Причем Rambler ищет файлы весьма неплохо. Чтобы воспользоваться этой возможностью, следует либо сразу зайти по ссылке, либо на главной странице поисковой системы Rambler среди списка сервисов выбрать Поиск файлов. Далее поиск ведется аналогично тому, как это делается в FileSearch (это было описано в предыдущем пункте).

Иногда случается так, что вы хотите скачать свободно распространяемый музыкальный альбом 2007 года, выпущенный исполнителем, которого знает три с половиной человека. Вы находите торрент-файл, запускаете его, загрузка доходит до 14,7% и… всё. Проходят дни и недели, а загрузка стоит на месте. Вы начинаете искать альбом в Google, рыщете по форумам и наконец находите ссылки на какие-нибудь файлообменники, но они уже давно не работают.

Такое происходит всё чаще и чаще - правообладатели постоянно закрывают полезные ресурсы. И если популярный контент найти по-прежнему не проблема, отыскать какой-нибудь телевизионный сериал семилетней давности на испанском языке может быть крайне трудно.

Что бы вам ни понадобилось в интернете, есть ряд способов это отыскать. Мы предлагаем все нижеперечисленные варианты исключительно для ознакомления с контентом, но ни в коем случае не для воровства.

Usenet

Usenet - распределённая сеть серверов, между которыми синхронизируются данные. Структура Usenet напоминает гибрид форума и электронной почты. Пользователи могут подключаться к специальным группам (Newsgroups), что-то в них читать или писать. Как и в случае с почтой, у сообщений есть тема, которая помогает определить тему группы. Сегодня Usenet используется по большей части для обмена файлами.

До 2008 года крупные провайдеры Usenet хранили файлы лишь 100–150 дней, однако затем файлы стали храниться вечно. Более мелкие провайдеры оставляют контент на 1 000 и более дней, чего зачастую тоже достаточно.

Примерно в середине 2001 года Usenet стали замечать правообладатели, из-за чего провайдерам пришлось удалять защищённый авторским правом контент. Но энтузиасты быстро нашли обходной путь: они стали давать файлам запутанные названия, защищать архивы паролями и добавлять их на специальные сайты, к которым можно получить доступ только по приглашению.

В России о существовании Usenet почти никто не знает, чего не скажешь о странах, где власти усердно борются с пиратством. В отличие от протокола BitTorrent, в Usenet нельзя определить IP-адрес пользователя без помощи провайдера сервиса или поставщика интернет-услуг.

Как подключиться к Usenet

В большинстве случаев бесплатно подключиться не выйдет. Придётся довольствоваться либо малым временем хранения файлов, либо низкой скоростью, либо доступом только к текстовым группам.

Провайдеры предлагают два типа платного доступа: ежемесячную подписку с неограниченным объёмом загружаемых данных или неограниченные по времени тарифы с лимитированным трафиком. Второй вариант - для тех, кому лишь иногда требуется что-то скачать. Крупнейшие поставщики таких услуг - Altopia , Giganews , Eweka , NewsHosting , Astraweb .

Теперь нужно понять, где брать NZB-файлы с метаинформацией - что-то вроде торрент-файлов. Для этого используются специальные поисковые движки - индексаторы.

Индексаторы

Публичные индексаторы полны спама и , но они всё ещё годятся для поиска файлов, загруженных пять или более лет назад. Вот некоторые из них:

Бесплатные индексаторы, требующие регистрации, больше подходят для поиска новых файлов. Они хорошо структурированы, у контента есть не только названия, но и описания с картинками. Можно попробовать следующие:

Также существуют индексаторы только для определённых типов контента. Например, anizb подойдёт поклонникам аниме, а albumsindex - тем, кто ищет музыку.

Скачивание из Usenet

В качестве примера возьмём «Фрейзер Парк» (The FP) - малоизвестный фильм 2011 года, вариант которого в разрешении 1080p отыскать практически невозможно. Нужно найти NZB-файл и запустить его через программу вроде NZBGet или SABnzbd .

Как качать через IRC

Вам потребуется IRC-клиент. Подойдёт почти любой - подавляющее большинство поддерживает DCC. Подключитесь к интересующему вас серверу и начинайте качать.

Крупнейшие серверы с книгами:

• irc.undernet.org, комната #bookz;
• irc.irchighway.net, комната #ebooks.

Фильмы:

• irc.abjects.net, комната #moviegods;
• irc.abjects.net, комната #beast-xdcc.

Западная и японская анимация:

• irc.rizon.net, комната #news;
• irc.xertion.org, комната #cartoon-world.

Для поиска файлов можно использовать команды!find или @find. Бот отправит результаты в виде личного сообщения. Если возможно, отдавайте предпочтение команде @search - она запускает специального бота, который предоставляет результаты поиска в виде одного файла, а не огромного потока текста.

Попробуем скачать «Как музыка стала свободной» (How Music Got Free) - книгу о музыкальной индустрии, написанную Стивеном Уиттом (Stephen Witt).

Бот отреагировал на запрос @search и отправил результаты в виде ZIP-файла по DCC.

Отправляем запрос на скачивание.

И принимаем файл.

Если вы нашли файл с помощью индексатора, то вам не нужно искать его на канале. Просто отправьте боту запрос на загрузку, используя команду с сайта индексатора.

DC++

В DC-сети все коммуникации осуществляются через сервер, называемый хабом. В ней можно искать конкретные типы файлов: аудио, видео, архивы, документы, образы дисков.

Делиться файлами в DC++ очень просто: достаточно поставить галочку напротив папки, к которой вы хотите предоставить общий доступ. За счёт этого можно отыскать что-то совершенно невообразимое - что-то, о чём вы сами уже давно забыли, но что может кому-то внезапно пригодиться.

Как качать через DC++

Подойдёт любой клиент. Для Windows лучшим вариантом является FlylinkDC++ . Пользователи Linux могут выбирать между и AirDC++ Web .

Поиск и загрузка реализованы удобно: введите запрос, выберите тип контента, нажмите «Искать» и два раза щёлкните по результату, чтобы скачать файл. Также можно просмотреть список всех открытых пользователем файлов и загрузить все файлы из выбранной папки. Для этого нужно правой кнопкой мыши щёлкнуть по поисковому результату и выбрать соответствующий пункт.

Если что-то не нашли, попробуйте позже. Зачастую люди включают DC-клиент только когда им самим нужно что-то загрузить.

Индексаторы

Встроенный поиск находит только файлы в списках пользователей, находящихся в онлайн-режиме. Чтобы отыскать редкий контент, вам понадобится индексатор.

Единственный известный вариант - spacelib.dlinkddns.com , а также его зеркало dcpoisk.no-ip.org . Результаты представлены в виде magnet-ссылок, при нажатии на которые файлы сразу начинают скачиваться через DC-клиент. Стоит учитывать, что порой индексатор долгое время недоступен - иногда до двух месяцев.

eDonkey2000 (ed2k), Kad

Как и DC++, ed2k - протокол децентрализованной передачи данных с централизованным хабом для поиска и соединения пользователей друг с другом. В eDonkey2000 можно найти почти то же самое, что и в DC++: старые сериалы с разной озвучкой, музыку, программы, игры, старые , а также книги по математике и биологии. Впрочем, есть здесь и новые релизы.

Секреты поиска. Как найти нужный документ.

Всем привет, это следующий урок о том, как правильно искать информацию в сети с помощью Google. Есть одна хитрость, которая, впрочем как всегда, никаким секретом не является. Мало кто из нас задумывается, но логически это понимают все – интернет это далеко не только веб-страницы ресурсов. Это видео, фото и аудио файлы, это документы различных форматов и многое другое. Даже не всегда на том или ином ресурсе в силу каких-то обстоятельств (в том числе и по недосмотру владельца файла) мы имеем доступ к нему по прямой ссылке для скачивания. Но в сети они есть и Google их прекрасно видит. Файлы проиндексированы поисковой системой, а значит, они доступны и для нас. Так что найти нужный документ бывает проще, чем каждый из нас думает. Давайте найдём их.

Перед тем, как перейти конкретно к поиску, стоит упомянуть о специальном сервисе Google, о котором, оказывается, мало кто знает. Это страница расширенного поиска:

Я нарочно оставлю это без комментариев, там всё по-русски. Изучайте и пользуйтесь. Это, скажем, страница продвинутого поиска без знания .

У каждого из файлов есть своё расширение, которое определяет тип программы, с помощью которой ему положено открываться. По умолчанию тип сокрыт от глаз пользователя. Но не для Google. Даже не зная названия документа полностью, вы сможете (теоретически) попытаться найти нужный документ, зная, что он имеет вид, например, документа Word из набора Microsoft Office. Вобщем, Google понимает вот такие расширения:

Adobe Portable Document Format (PDF) Adobe PostScript (PS) MacWrite (MW) Microsoft Excel (XLS) Microsoft PowerPoint (PPT) Microsoft Word (DOC) Microsoft Works (WDB, WKS, WPS) Microsoft Write (WRI) Rich Text Format (RTF) Text (ANS, TXT)

И некоторые другие, более специфичные. Если вы собираетесь найти нужный документ, например, обязательно в формате Word с расширением.docx, то можно попробовать задать этот параметр (без точки перед расширением) уже в поисковой строке. Это должно выглядеть так:

Название_документа\файла\фильма\песни filetype:тип_файла

Например:

Договор купли-продажи кактуса filetype:docx

По аналогии с известным вам исключением ненужной информации из поисковой выдачи, можно, наоборот, исключить из неё ненужные расширения и работать только с определёнными их типами. Используем, тем самым, оператор исключения «-». Например:

Договор купли-продажи кактуса -filetype:docx

Всё. В поисковой выдаче страниц с договором в формате Word не будет. Будут PDF, TXT, но не Word.

Как найти нужный документ на конкретном сайте или домене.

Нередко перед некоторыми пользователями ставится задача найти нужный документ или просто посмотреть некоторую информацию только на ресурсах, имеющих более высокую степень доверия по сравнению с остальными. Например, домены.com, .edu, .org принадлежат правительственным или образовательным учреждениям, которые имеют больший информационный вес. Или нам необходимо узнать информацию или новость из первоисточника. А про обрушение котировок на английской бирже лучше узнать не из израильского сайта, не так ли? Потому лучше было зондировать именно английские источники информации – это доменная зона британцев.uk. Или канадцев – .ca. Или французов – fr. И так далее.

Так вот, чтобы заняться поиском только по конкретной доменной зоне, укажите тип домена в поисковом запросе с помощью оператора “site:”. Например:

Site:.edu (не забудьте точку перед названием домена)

И при наборе информации в определённой зоне:

Do it yourself.:ru

Google будет искать результаты только в русскоязычном интернете (рунете).

По аналогии с доменной зоной можно сократить место поиска до конкретного веб-сайта. Например, если нужно прочитать справку о том или ином событий в операционной системе Windows, есть смысл обратиться к первоисточнику. Ищите в пределах только официальной справки от Microsoft на официальном сайте. Для этого используйте тот же самый оператор в таком виде:

Ошибка 000240767 site:www.microsoft.com (точку перед адресом ставить нельзя!)

Все найденные результаты будут касаться только этого сайта.

Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer . Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.

http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.

СЕРВИСЫ

new – web браузер с десятками предустановленных инструментов для OSINT.

– эффективный поисковик-агрегатор для поиска людей в основных российских социальных сетях.

https://hunter.io/ – эффективный сервис для обнаружения и проверки email.

https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.

https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.

http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.

https://iplogger.ru/ – простой и удобный сервис для определения чужого IP .

http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.

http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.

http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.

https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.

https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web 1.

https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.

http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.

http ://appfollow .ru / – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store , Google Play и Windows Phone Store .

http://spiraldb.com/ – сервис, реализованный как плагин к Chrom , позволяющий получить множество ценной информации о любом электронном ресурсе.

https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.

http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.

http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.

https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.

http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для G oogleC hrome.

http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.

http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.

http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.

http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.

http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.

http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.

http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.

www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.

http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.

http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.

http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.

www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.

ПОИСКОВИКИ

https ://www .idmarch .org / – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.

http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.

http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.

Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.

www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.

www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.