24 Октября

Составление семантического ядра с использованием Key Collector

Время последнего обновления записи: 2015-10-15 в 19:41 автор: Денис Воеводин

Составление семантического ядра запросов сайта с использованием Key CollectorДоброго времени суток, сегодняшнюю запись в блоге хочу посвятить такой замечательной программе, как Key Collector, которая во многом облегчает жизнь оптимизаторам и позволяет составлять огромные ядра запросов для сайта и это только часть всех возможностей данной софтины. Функционал программы помогает нам анализировать эффективные запросы с поисковых систем и оптимизировать под них страницы сайта, что позволяет увеличить посещаемость ресурсов. Помимо этого возможен анализ контекстной рекламы и показателей сервисов: SemRush, Solomono, Live Internet, MegaIndex, социальной сети Вконтакте и других. Более того, обновления программы выходят практически каждый день, так как над софтом трудится несколько программистов, благодаря чему софт является постоянно актуальным и работоспособным. Для оптимизаторов данный инструмент доступен с 2010 года.

Не будем останавливаться на всех тонкостях софта, в данной статье я постараюсь описать все основные моменты, как при помощи программы Key Collector составить эффективное семантическое ядро запросов для сайта. Сразу же скажу, что Вам необходимо полностью понять всю информацию, представленную в статье, поэтому приготовьтесь и читайте внимательно, если хотите осознать как отобрать эффективные ключевые слова для ядра запросов сайта и не тратить бюджеты на продвижение фраз пустушек! 😉

С чего начать?

Для начала необходимо определиться над тем, какие основные высокочастотные запросы будут входить в наше семантическое ядро, давайте представим, что необходимо продвинуть по Москве сайт организации, предоставляющей услуги резки металла и пластика на лазерной и плазменной установке. Так как я технарь, мне больше нравится данная тема, да и всяческие механизмы и конструкции :)

Итак, список основных запросов для продвижения будет состоять из трех фраз:

  • резка металла;
  • лазерная резка;
  • плазменная резка.

С этим мы определились, теперь необходимо настроить программу для работы с проектом, конечно кейсов по настройке множество, но я все же повторюсь что требуется сделать, чтобы программа выполняла свои функции должным образом, при том, что она постоянно обновляется и возможно старые кейсы по настройке уже устарели.

Настройка Key Collector для парсинга данных Wordstat Яндекс

Для того, чтобы зайти в настройки программы, необходимо кликнуть на шестеренку, расположенную в блоке основных инструментов программы, в левом верхнем углу.

Блок основных инструментов программы Key Collector

Далее необходимо выбрать вкладку «Парсинг», в которой будет еще несколько вкладок, из них выбрать Yandex.Wordstat. Установить значение глубины анализа равное 2 и глубину страниц Вордстата в значение 40, на текущий момент это максимальное значение страниц, которое может передать Wordstat. Задержку между запросами 8000-10000 миллисекунд, при использовании большого количества прокси, задержку можно увеличить, данная задержка выставляется для 5 прокси, это все необходимо для того, чтобы избежать блокировки прокси и постоянного выскакивания Captcha символов для ввода. Количество потоков устанавливать равное количеству Ваших прокси, в нашем случае оно равно 5. Все остальные пункты можете оставить как на скриншоте, представленном ниже.

Key Collector - настройка парсинга через Яндекс Wordstat

Не так давно ввели необходимость обязательной авторизации через аккаунты, созданные в сервисе Яндекс Директ, поэтому для оптимальной работы требуется создать несколько аккаунтов в Яндекс Почте, количество которых должно быть равно количеству Ваших прокси, иначе сбор статистики будет производиться в меньшее количество потоков, равное количеству аккаунтов. Теперь для оптимизаторов стало немного сложнее, но это не помеха, пока ограничений на количество зарегистрированных аккаунтов в сервисах Яндекса не ввели, но если введут, тогда оптимизаторы точно уйдут в Google.

Следующим шагом будет настройка прокси, так как в Яндекс уже давно закручивают гайки и через Ваш собственный IP лучше не парсить фразы, велика вероятность отправить его в бан. А закручивают гайки в данном направлении они потому, что количество оптимизаторов постоянно растет, софтом пользуются многие, а большое количество запросов к сервисам — дополнительная нагрузка на сервера и тем самым дополнительные затраты, это только нам не видно всех проблем, на самом деле их тоже можно понять.

Но не будем останавливаться на проблемах Яндекса, перейдем к следующему шагу. Итак, нам необходимо купить прокси, но лучше настроить прокси самому, дешевле будет, причем все подробно написал по настройке прокси с примерами. Для приобретения, потребуется пройти простую процедуру регистрации и оплаты услуги в сервисе.  Предлагаю купить выделенные прокси именно потому, что Вы будете затрачивать намного меньше времени на сбор информации, чем искать в паблике рабочие прокси, которые неэффективны и быстро умирают. В данном же сервисе предоставляют выделенные прокси, стоимость минимального пакета из 5 прокси = 696 рублей — это примерно по 4$ за 1 прокси. Данная цена актуальна для текущего рынка, дешевле точно не найдете.  Для себя я прикупил 5 прокси, пользуюсь ими уже несколько месяцев и доволен результатом.

После того, как приобрели прокси, необходимо зайти в настройки Key Collector, во вкладку «Сеть». Поставить галочку на пункте — «использовать прокси-серверы», выбрать протокол «HTTP», подгрузить из файла в программу список прокси, в формате прокси1:порт1@логин:пароль, каждый новый прокси должен быть расположен с новой строки. После того, как добавите прокси в таблицу, необходимо проверить их на работоспособность, т.е. выбрать пункт «Проверить в Yandex Wordstat», после того, как все строки списка загруженных прокси стали зелеными в таблице и кнопка «Остановить» стала неактивной, можно переходить к следующим действиям.

Key Collector - настройка прокси серверов для работы с Вордстат

При использовании SEO прокси, ссылку на которые я предоставил выше, необходимо включить Антигейт, так как при работе через хорошие прокси, достаточно ввести всего 1 или 2 Captcha, чтобы программа и дальше активно работала, если используются публичные прокси, то скорость работы через такие прокси сократится в несколько раз и в результате будет потрачена значительная часть бюджета на распознавание Captcha-ключей. Для подключения Антигейт, необходимо перейти по ссылке: http://antigate.com, зарегистрироваться и пополнить счет в системе, после чего перейти на вкладку Key Collector — «Антикапча» и ввести ключ, который выдан системой, в соответствующее поле.

Key Collector - ввод ключа Антигейт во вкладке Антикапча

Далее необходимо перейти на вкладку «Общие настройки» и убрать галочку с пункта «Автоматически переключать прокси-сервер при встрече капчи», для плохих прокси, можно оставить галочку, но для хороших это будет дополнительной проблемой, которая помешает программе работать нормально, так как капча встретится даже на хороших прокси, но 1-2 ввода решат проблему.

Запуск программы для парсинга Вордстата

После того, как все настроено, необходимо указать регион парсинга, в данном случае регион — «Москва». Для этого нужно внизу программы нажать на соответствующее поле ввода, напротив красной гистограммы.

Key Collector - выбор региона для парсинга Вордстата

И выбрать «Москва».

Key Collector - выбор региона Wordstat

Теперь можно запускать программу на парсинг данных из Яндекс Вордстата, для этого необходимо нажать в панели инструментов на занчок, в виде красной гистограммы.Key Collector - иконка парсинга Яндекс Вордстат

Откроется новое окно, где необходимо будет ввести список основных высокочастотных ключевых фраз, которые были подобраны для составления семантического ядра запросов и нажать на кнопку «Начать сбор».

Key Collector - добавление списка фраз для парсинга через вордстат

Потребуется некоторое время, пока программа закончит сбор данных. В результате получается список из большого количества слов.

Key Collector - полученные данные с Wordstat.Yandex

Фильтрация и отбор эффективных слов для семантического ядра

Весь список брать не нужно, его нужно почистить от нерелевантных и малоэффективных слов, которые не дадут результата для продвижения. Можно заниматься ручным отсевом фраз, тыкать по каждому и отсеивать, но это займет много времени, особенно когда фраз несколько сотен тысяч. Применим для этого фильтр стоп-слов, нажав на иконку стоп-слова в интерфейсе программы.

Key Collector - настройка фильтра стоп слов

Здесь есть 2 вкладки со списком 1 и 2. В первый список задаются ненужные стоп-слова, которые никаким образом не относятся к проекту, во вторую вкладку наоборот, те слова, которые выгодны для проекта.

Key Collector - список стоп слов для проекта

После того, как вбили список стоп-слов, необходимо выставить настройки, как представлено на скриншоте, подобные настройки позволяют искать совпадения во всех фразах, перебирая все слова фраз, если фраза частично совпадает со стоп-словом, такие ключевые фразы будут выделены в общей таблице, естественно, если нажать кнопку: «Отметить в таблице».

После того, как определены стоп-слова, выделенные в таблице фразы можно смело удалить, выбрав вкладку «Данные» и нажав на «Удалить отмеченные фразы».

Key Collector - удалить отмеченные фразы

В результате в таблице останутся те слова, которые будут значительно эффективнее для проекта.

Это еще не все, теперь снимем точные частотности ключевых фраз, для того, чтобы отсеять слова-пустышки. Для этого используем статистику Яндекс.Директ, которая позволяет пакетно снимать данные и увеличить скорость работы программы в несколько раз. Переходим снова к настройкам и выбираем вкладку «Парсинг», «Yandex.Direct», в которой выставляем задержку между запросами 7000-15000 мс, используем количество потоков, равное количеству созданных ранее аккаунтов в Яндекс, ставим галочку на пункте — «не использовать прокси-серверы при работе с Yandex.Direct», ставим галочку на пункте — «Использовать основной IP-адрес» и выставляем значение — «уменьшать количество потоков на 1, вплоть до 0, каждый раз при исключении прокси-сервера/аккаунта».

Key Collector - Парсинг настройка вкладки Яндекс Директ

Не забываем сохранить настройки. Теперь необходимо начать сбор данных с использованием Яндекс Директ, нажимаем соответствующую иконку в интерфейсе программы.

Key Collector - парсинг данных через Яндекс Директ

Все, процесс запущен, потребуется некоторое время, чтобы данные для большого числа запросов собрались, при 1000 запросов с выставленными настройками на скриншоте, на парсинг двух колонок ушло 8-10 минут. На скриншоте приведены данные, отсортированные по первой колонке частотности запросов.

Key Collector - отфильтрованные данные, напарсенные с Яндекс Вордстат

Теперь самое интересное, у нас есть частотности с вхождением фразы в различные запросы и словосочетания и прямая частотность, так как же выявить самые эффективные ключевые слова? Все просто, необходимо использовать KEI — показатель по которому мы будем оценивать эффективность ключевых слов и фраз, отфильтрованного семантического ядра.

Key Collector - формула рассчета KEI

Для того, чтобы задать собственные KEI, необходимо зайти в настройки программы и выбрать вкладку KEI. Я обычно использую следующие формулы:

  • ((YandexWordstatBaseFreq + YandexWordstatQuotePointFreq) / (YandexWordstatBaseFreq + 0.01) — 1 ) * 100;
  • (YandexWordstatQuotePointFreq) * 0.3 + 0.01;
  • (YandexWordstatQuotePointFreq) * (((20 + 12 +9 + 8 + 0.01 ) / 4 ) / 100 );
  • (KEI_YandexMainPagesCount * KEI_YandexMainPagesCount * KEI_YandexMainPagesCount) + (KEI_YandexTitlesCount * KEI_YandexTitlesCount * KEI_YandexTitlesCount);
  • (KEI_GoogleMainPagesCount * KEI_GoogleMainPagesCount * KEI_GoogleMainPagesCount) + (KEI_GoogleTitlesCount * KEI_GoogleTitlesCount * KEI_GoogleTitlesCount).

Итак, теперь давайте по порядку, что же это за формулы расписаны.

  • В первой формуле вычисляется эффективность ключевой фразы, это более простая формула, которая варьируется от 0 до 100%. Параметр YandexWordstatBaseFreq — это частотность вхождения фразы в различные запросы, которая берется из первой колонки частотностей, YandexWordstatQuotePointFreq, соответственно точная частотность фразы, 0.01 — требуется вводить, для того, чтобы вычислялось значение в сотых, отнять единицу, требуется для того, чтобы получить число меньше единицы и умножить на 100, тем самым получится отношение в процентнах прямой частотности к частотности с вхождением.
  • Вторая формула подразумевает в себе подсчет ежемесячного трафика, который мы получим по ключевой фразе при том условии, что она достигнет ТОП-1, если возьмем данные кликабельности из таблицы ниже, это примерное значение, 0,3 — это CTR сниппета = 30%.
  • Третья формула — усредненное значение ежемесячного трафика, который будет приходить на сайт, если запрос достигнет позиции от ТОП-2 до ТОП-5, значения 20, 12, 9, 8 — это соответственно CTR сниппета в процентах, который требуется разделить на количество позиций равное 4 и на 100 процентов.
  • Четвертая формула необходима для определения конкурентности по фразе, здесь параметры KEI_YandexMainPagesCount — количество главных страниц в выдаче Яндекс по ключевой фразе и KEI_YandexTitlesCount — количество точных вхождений ключевой фразы в заголовок страниц, находящихся в ТОП-10 поисковой системы Яндекс. Так как нельзя использовать возведение в степень значений, значения просто перемножились, т.е. каждое значение возведено в 3 степень. Значение варьируется от 0 до 2000. Возведение в куб потребовалось для определения более точного значения.
  • Пятая формула является аналогом четвертой, только для поисковой системы Google.

Средний CTR сниппетов в зависимости от позиции в выдаче, исходя из значений которых рассчитывалась вторая формула:

ТОП-1 – 25-30%
ТОП-2 – 15-20%
ТОП-3 – 10-12%
ТОП-4 – 8-9%
ТОП-5 – 4-8%
ТОП-6 – 4-5%
ТОП-7 – 4-5%
ТОП-8 – 3-4%
ТОП-9 – 2-4%
ТОП-10 – 3-5%

Можно использовать первую формулу и в зависимости от нее удалить все значения, KEI-1 которых меньше 12. Но я советую использовать несколько параметров для оценки ключевой фразы. Например, эффективность фразы для привлечения трафика, используя вторую формулу, вместе с конкурентностью по данной фразе. Низкоконкурентные фразы варьируются, если значении KEI будет от 0 до 128, среднеконкурентные, если значение будет от 128 до 1024 и все остальные можно отнести к высококонкурентым, оценка фраз по двум параметрам осуществляется при помощи настройки фильтра во вкладке «Данные». Соответственно оценив конкуренцию и трафик, который Вы можете привлечь на сайт, вы сможете отобрать эффективные ключевые фразы. Или как вариант использовать первую формулу. Если у Вас есть собственные формулы для оценки эффективности фраз, с радостью готов обсудить в комментариях, возможно вместе мы сможем улучшить формулы. 😉

Заключение

В данной статье описан рабочий способ того, как можно создать семантическое ядро сайта, используя ключевые фразы, напарсенные из Яндекс Вордстат. Все это в качестве примера. Если Вы хотите составить самое полное СЯ, необходимо спарсить данные с подсказок, счетчиков статистики, социальной сети Вконтакте, короче всех возможных сервисов, после чего отфильтровать все данные и снять частотность по Wordstat.Yandex, в результате Вы получите намного большее ядро. Вордстат не отображает полного и реального списка всех фраз, которые запрашивают пользователи, но частотность снять по запросам позволяет, поэтому собирайте все данные.

Не забывайте подписываться на RSS ленту блога, чтобы получать новые статьи прямо на почту. Если статья понравилась, можете поделиться с друзьями, кнопки ниже 😉

Составление семантического ядра с использованием Key Collector: 38 комментариев

  1. Валерий

    Более трёх лет являюсь веб мастером, и на моём счету немало сайтов уникальной, интересной тематики. СЕО-продвижение и раскрутка сайта всегда являлось наиболее трудоёмкой и «нудной» работой в системе продвижения своих сайтов, а подбор «ключевых слов» и тегов для поисковых выдач вообще настолько много отнимает времени, что для меня лучше доверить эту работу специалистам, с соответствующей оплатой, разумеется. Ознакомившись с описанием и настройкой программы Key Collector, я понимаю, что это настоящая находка для оптимизатора! Тут программа делает всю работу, практически сама! Осталось только правильно установить настройки и выяснить параметры своего сайта! Сейчас скачаю, опробую и оптпишусь! Если всё соответствует описанию, то эта программа на вес золота!

    1. Денис Воеводин Автор записи

      Программа является незаменимым инструментом и очень полезна. Только она не бесплатная и стоит 1500р. Поэтому скачать не получится :)

  2. Евгений

    Считаю, что в «своих» проектах составление семантики это не только не «отнимает много времени», но и очень интересно. Кейколлерктор в наличии имеется, но ядро делаю ручками, ибо это важнейшая часть продвижения сайта. Пробиваю синонимы, «интересные» слова и т.д. KC импользую для других нужд. Вместе с антикапчей довольно зачётный инструмент.

    1. Денис Воеводин Автор записи

      Евгений, Наиболее полное СЯ ручками Вы точно не составите! Выделенные прокси + сервисы Антикаптчи + источники поисковых запросов, собранные в одном месте, точнее именно в Key Collectore, позволяют собрать максимально полное ядро. Причем не только отобрать, но и составить наиболее эффективное, откинув слова пустышки, тем самым меньшие трудозатраты на продвижение и больший результат.

  3. Max

    В принципе можно насобирать на ядрышко и урезанной версией КК под названием слово*б, она вполне сносно работает и бесплатна. Но я таки купил КК когда решил, что времени больше жаль, чем 1500р. Получилась хорошая экономия времени. Бесплатно не заработаешь, те кто трусятся над копейками, будут иметь копеечную прибыль или ничего, когда это поймут, перестанут искать только халяву.

    1. Денис Воеводин Автор записи

      Key Collector — это мощный инструмент, причем чем больше я с ним работаю, тем больше понимаю, что у него офигенски безграничные возможности, по крайней мере он рутинные процессы заменяет, что очень радует.

  4. Remo

    ДА статья конечно полезная автору плюс! Но помню еще три года назад пользоваться key collector было намного проще,так как не было ограничения на yandex wordstat сейчас с этим проблемы! Собирать и продвигать под яндекс, стало сложнее! Поэтому сейчаc пользуюсь данными под google!

    1. Денис Воеводин Автор записи

      Если руки прямые, то не нужно бояться лимитов, покупка выделенных прокси решает вопрос + сейчас сбор можно осуществлять через Яндекс Директ.

  5. Роман Конопелько

    Собственно тема с выявлением самых эффективных ключевых слов не совсем закончена. Как осуществить настройки фильтра во вкладке «Данные»?

    1. Денис Воеводин Автор записи

      Фильтры — это уже Ваше дело как настраивать, не вижу не раскрытости вопроса, там все и так интилектуально понятно, до этого уж сами додумаете. В первой вкладке указываются стоп-слова, которые нежелательны для СЯ, поэтому здесь их и добавляйте, все желательные стоп-слова указываете во второй вкладке.

  6. Stif

    Отличная статья! Одна из немногих актуальных и подробных на сегодня.
    Еще не использовал прокси в КК, после прочтения статью думаю самое время попробовать.
    Спасибо, Денис :)

  7. Вячеслав

    Салют! спасибо за статью.
    Опечатка:
    ставим галочку на пункте — «не использовать прокси-серверы при работе с Yandex.Wordstat» — тут Yandex.Direct

  8. Иван

    А «стоп-слова» всё равно надо вбивать ручками?! То есть, если собрал семантическое ядро на 1000 слов, то все их нужно просмотреть на предмет не нужных слов в словоформах, а затем эти слова вбить в поле для «стоп-слов»?

    1. Денис Воеводин Автор записи

      Получается что так, но я советую лучше вбивать наоборот не минус стоп-слова, а плюс стоп-слова. Например для коммерческих проектов, такие, как купить, заказать и т.д.

  9. Алексей

    Интересная и познавательная статья, спасибо! Вся информация актуальна и на данный момент?

    1. Денис Воеводин Автор записи

      Алексей, здравствуйте! В целом актуальна информация, так как описывался механизм работы с Key Collector. Может быть в некоторых моментах только существуют недочеты в скриншотах, так как Кей коллектор постоянно обновляется и интерфейс, соответственно, тоже.

  10. Дмитрий

    Что то по 2ой и 3ей формулах, я не очень понял. Полученные цифры это CTR при нахождении в соответствующих топах? У меня в одной фразе за 400.35 вышло. Поясните пожалуйста поподробнее.

    1. Денис Воеводин Автор записи

      Добрый день! Нет. Ниже, под формулами, я расписал что они означают.
      Вторая формула — это количество траффика ежемесячного по фразе, при достижении ТОП-1 поисковика.
      Третья формула — усредненное значение ежемесячного траффика при достижении позиций от ТОП-2 до ТОП-5.
      P.S.: Все данные и KEI условны, значения не всегда могут соответствовать результирующим, эти формулы выведены для ознакомления с софтом.

  11. Дмитрий

    Так а формулы рабочие? Ими пользоваться можно? Меня 1я больше интересует.

    1. Денис Воеводин Автор записи

      Что означает Ваше понимание «рабочая формула»?
      Я не могу Вас понять. Эти формулы сам использовал для замера условных показателей. Изобретете, что-то новое, поделитесь, буду только рад.

  12. Юрий

    Ссылка «купить прокси» уже не рабочая. Не подскажете, где лучше купить прокси?

  13. Юлия

    Недавно купила лицензию для Кей Коллектора. Программа понравилась своим широким функционалом. Сейчас тестирую на небольшом ядре. Попробую применить Ваши формулы.

    1. Денис Воеводин Автор записи

      Добрый день, Юлия, уверен, что программа Вам понравится своим функционалом, не забудьте, что при работе с Кей Коллектором необходимо использовать выделенные прокси.

  14. Александр

    При настройке Proxy выяснилось, что Gigspace по умолчанию ставит вместо centos 5, настройка которой описана у Дениса, debian-5.0. По совету Дениса обратился в поддержку, они быстро поставили Centos 5 и все proxy удалось настроить. Сегодня воскресенье, но все отвечали и реагировали быстро. Спасибо!

  15. Igor

    Что такое конкуренция в Кей Коллектор ?
    Например: (по одному и тому же слову)
    конкуренция в яндекс директ — 48
    Конкуренция в ПС яндекс 42 000 000
    Конкуренция в ПС Google 120 000 000

    Поясните суть этих цифр

    1. Денис Воеводин Автор записи

      конкуренция в ПС — это количество сайтов, найденных по запросу
      конкуренция в ЯД — количество рекламодателей, употребляющих данную фразу в рекламной кампании.
      как-то так, если ошибаюсь, подправьте.

  16. Светлана

    Добрый день. На сегодняшний день настройка программы, описанная Вами, актуальна?

    1. Денис Воеводин Автор записи

      по поводу актуальности точно сказать не могу, но во всяком случае, здесь наиболее полно расписан подход к составлению СЯ. Его можно взять за основу и доработать.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *