Як стварыць файл WordPress Robots.txt і аптымізаваць яго для Google (у 3 кроку)

  1. Крок 1: Стварыце файл у тэкставым рэдактары
  2. Крок 2: Аптымізацыя файлаў для пошукавых сістэм
  3. Крок 3: Загрузіце файл на свой сайт

Ключавы элемент паляпшэння бачнасці вашага сайта з'яўляецца забеспячэнне таго, аказваецца прыкметна ў выніках пошуку. Тым не менш, гэта таксама важна, каб гэтыя вынікі сапраўды адлюстроўваюць лепшы кантэнт на вашым сайце. Большасць сайтаў ўключаюць некаторы ўтрыманне вы не хочаце, каб адлюстроўвацца ў пошуку. Такім чынам, як вы можаце кантраляваць тое, што робіць Google і не адлюстроўваецца?

Гэта калі маленькі файл вядомы проста як robots.txt прыходзіць. Гэта можа здацца не так шмат , на першы погляд, але гэты адзін файл можа мець вялікі ўплыў на ваш сайт габарытную Пошукавая аптымізацыя (SEO) , Гэта дазваляе кантраляваць, якія вобласці вашага сайта адкрыты для пошукавых сістэм. Акрамя таго, гэта гарантуе, што яны будуць заўважаць змены, зробленыя на ваш сайт хутчэй.

У гэтым артыкуле мы будзем глядзець на тое, як вы можаце стварыць файл robots.txt WordPress для паляпшэння рэйтынгу Google вашага сайта. Вы даведаецеся, як стварыць файл, у якім, каб дадаць яго ў свой WordPress сайт, і што яна павінна ўключаць. Нарэшце, мы пакажам вам, як прадставіць яго на Google Search Console , Давайце пачнем!

Прасцей кажучы, robots.txt ўяўляе сабой тэкставы файл , які змяшчае простыя інструкцыі, інфармаваць пошукавыя сістэмы тое, што яны павінны і не павінны чытаць на вашым сайце. Вы можаце думаць пра яго як напрамкі, якія вы даеце на сайтах, як Google. Ён кажа ім, якія старонкі і каталогі, якія вы не хочаце быць уключаны ў іх выніках пошуку.

Чаму гэта важна, і як гэта ўплывае на SEO? Для таго, каб адказаць на гэтае пытанне, мы павінны гаварыць аб гусенічным. Индексатор праграма, што пошукавыя сістэмы выкарыстоўваюць для чытання вэб-сайтаў для таго, каб індэксаваць іх, так што яны могуць з'яўляцца ў выніках пошуку. Вы ўжо знаёмыя з гусенічным Google, які называецца Googlebot ,

Калі гэтыя праграмы сканаваць ваш сайт, яны па змаўчанні будуць правяраць кожную старонку ў ёй. Таму, чым больш старонак вашага сайта ўтрымлівае, тым даўжэй ён будзе прымаць для шукальніка, каб прачытаць усё. Для таго, каб робаты не ўплываюць на сайты адмоўна знясільванне іх, кожны сайт атрымлівае «поўзанне бюджэту». Google тлумачыць поўзаць бюджэт такім чынам, :

«Прасцей кажучы, гэта азначае колькасць адначасовых паралельных злучэнняў Googlebot можа выкарыстоўваць для сканавання сайта, а таксама час, ён павінен чакаць паміж выбаркамі.»

У тым жа артыкуле, Google таксама ідэнтыфікуе «якія маюць шмат малакаштоўных дадайце URL-адрас» у якасці важнага фактару, які негатыўна ўплывае на індэксацыю сайта. У практычным плане гэта азначае, што калі шукальнік павінен прайсці праз няякасныя старонкі, гэта эфектыўна марнаваць бюджэт поўзаць па неістотна зместу, а не на ўтрыманне, якое Вы хочаце яго знайсці. Гэта таксама прывядзе ўвесь ваш сайт будзе сканавацца радзей. Акрамя таго, абнаўленне зойме больш часу, каб з'яўляцца ў выніках пошуку.

Да цяперашняга часу , вы , спадзяюся , зразумела , чаму даданне файла robots.txt на ваш сайт мае важнае значэнне для аптымізацыі яго бачнасці. Гэты час, каб паглядзець на тое, як вы можаце стварыць такі файл і дадаць яго ў свой WordPress сайта. У гэтым кіраўніцтве мы будзем лічыць вас праз кожны крок працэсу. Мы пакажам вам , як напісаць файл, дзе Robots.txt ў WordPress і як прадставіць яго ў Google.

Крок 1: Стварыце файл у тэкставым рэдактары

Усе , што вам трэба стварыць файл robots.txt , гэта просты тэкставы рэдактар, напрыклад TextEdit або Notepad. Сам файл з'яўляецца проста спісам з аднаго або некалькіх дырэктыў, якія сканеры выкарыстоўваюць, каб вызначыць, якія часткі вашага сайта, каб чытаць і індэкс. Даць адзін, таму ўсе аб даданні інструкцыі, якія вы хочаце, выкарыстоўваючы неабходны сінтаксіс, які мы разгледзім зараз.

Давайце паглядзім на ўзор файла robots.txt з некаторым стандартным кодам:

txt з некаторым стандартным кодам:

Радок User-агент вызначае , якія Шукальнікі гэтая канкрэтная дырэктыва накіравана. Так як у гэтым прыкладзе выкарыстоўваецца зорачка (*) падстаноўныя, гэтая дырэктыва прызначана для ўсіх пошукавых робатаў. Калі вы толькі хацелі нацэліць гэта на канкрэтным гусенічным, такія як Googlebot, гэта будзе выглядаць наступным чынам:

Калі вы толькі хацелі нацэліць гэта на канкрэтным гусенічным, такія як Googlebot, гэта будзе выглядаць наступным чынам:

Другая радок утрымлівае інструкцыі вы даяце шукальніку, які ў дадзеным выпадку з'яўляецца Disallow. Гэта вызначае, якія часткі вашага сайта вы не хочаце, каб ўказаны агент карыстальніка поўзаць. Гэты прыклад пакідае радок пусты, што азначае, што ніякія папкі не былі забароненыя. Такім чынам, сканер будзе счытваць усе на сайце.

Давайце выкажам здагадку , што мы хочам , каб Googlebot ня сканаваць тэчку / старая-фатаграфія /. У гэтым выпадку ваш тэкставы файл павінен выглядаць наступным чынам:

Важна адзначыць, што гэтыя значэнні адчувальныя да рэгістра. Так што, калі тэчка на самай справе называецца / Старадаўнія фатаграфіі /, гэтая каманда не будзе прымяняцца да яго.

Цяпер, давайце выкажам здагадку , што ёсць некаторыя файлы ў гэтай тэчцы вы хочаце гусенічны бачыць. Вы можаце зрабіць гэта , выкарыстоўваючы Дазволіць дырэктыву:

Вы можаце зрабіць гэта , выкарыстоўваючы Дазволіць дырэктыву:

Ёсць таксама некаторыя дадатковыя нестандартныя дырэктывы , Такія , як Crawl затрымкі, сайта, і хост, але яны не разумеюць усе сканеры. Напрыклад, Googlebot будзе толькі прыняць Sitemap, які паказвае шукальніку XML карты сайта вашага сайта. Як правіла, вы не павінны турбавацца аб ўключэнні гэтага, аднак, як вы можаце адправіць карту сайта непасрэдна праз Google Search Console ,

Зараз, калі вы ведаеце , як сабраць файл robots.txt, давайце паглядзім , што яна павінна ўключаць у сябе для дасягнення найлепшых вынікаў!

Крок 2: Аптымізацыя файлаў для пошукавых сістэм

Каб аптымізаваць файл robots.txt, вам у першую чаргу неабходна разгледзець , якія вобласці вашага сайта вы не хочаце сканараў важдацца з. Гэта ўключае ў сябе, але, вядома, не абмяжоўваецца, абласцей, якія не бачныя грамадскасці або якія не маюць ніякага сэнсу па-за канкрэтным кантэкстам.

Майце на ўвазе, што гэта не адносіцца да JavaScript або CSS актываў, якія вы ніколі не павінны блакаваць. На самай справе, гэта нешта Google спецыяльна рэкамендуецца , Так як ён спыняе іх Сканер цалкам зразумець, як працуе ваш сайт і можа перашкаджаць вашай рэйтынг SEO:

«Забарона шукальніка Javascript або CSS - файлы ў файле robots.txt вашага сайта наўпрост шкодзіць , наколькі добра нашы алгарытмы візуалізацыі і індэксаваць змест, і можа прывесці да неаптымальнай рэйтынгу.»

Адзін прыклад старонкі вы, верагодна, хочаце, каб забараніць гэта ваша старонка Увайсці WordPress адміністратара, які вы можаце зрабіць наступнае:

Адзін прыклад старонкі вы, верагодна, хочаце, каб забараніць гэта ваша старонка Увайсці WordPress адміністратара, які вы можаце зрабіць наступнае:

Тым ня менш, многія тэмы належаць на файл , размешчаны ў гэтым каталогу, называецца адмін-ajax.php. Вы хочаце, каб гэты файл, таму што гэта элемент JavaScript:

Вы хочаце, каб гэты файл, таму што гэта элемент JavaScript:

Іншы прыклад тыпу старонкі Disallow будзе "дзякуй" старонкі, якія наведвальнікі бачаць толькі пасля таго, як яны скончылі форму. Зноў жа, няма ніякага сэнсу ў іх з'яўляецца ў выніках пошуку, так што вы маглі б забараніць і іншае:

Зноў жа, няма ніякага сэнсу ў іх з'яўляецца ў выніках пошуку, так што вы маглі б забараніць і іншае:

Гэта толькі некалькі прыкладаў, і што вы павінны блакаваць ў файле robots.txt залежыць ад змесціва вашага канкрэтнага сайта. Такім чынам , вы павінны будзеце выкарыстоўваць сваё лепшае меркаваньне, і заўсёды ўлічваць уплыў кожнага дазволіць або забараніць будзе мець. Напрыклад, наступная дырэктыва будзе блакаваць ўвесь сайт ад усіх пошукавых робатаў, так што гэта важна, каб не атрымаць нядбайнымі:

Напрыклад, наступная дырэктыва будзе блакаваць ўвесь сайт ад усіх пошукавых робатаў, так што гэта важна, каб не атрымаць нядбайнымі:

Яшчэ адна ключавая рэч , каб памятаць пра тое , што дырэктывы ў файле robots.txt , з'яўляюцца толькі што: дырэктывы. Проста таму, што вы кажаце робатам ня сканаваць старонку або тэчка не азначае, што яны не будуць. Калі старонка мае дастатковую колькасць спасылак на яго, ён будзе індэксавацца нават з'яўляецца ў файле robots.txt. Калі вы хочаце гарантаваць, што ніколі не з'явіцца старонка ў выніках пошуку Google, вы павінны выкарыстоўваць NOINDEX мета-тэг замест гэтага.

Па гэтай прычыне, robots.txt ніколі не павінен выкарыстоўвацца ў мэтах бяспекі. Калі б вы былі «схаваць» частка вашага сайта ў гэтым выпадку ваш robots.txt будзе проста паказваючы шкоднасныя боты па адносінах да часткі , якія вы хочаце , каб яны хоць бы паглядзець.

Крок 3: Загрузіце файл на свой сайт

Пасля завяршэння налады файла, захавайце яго ў файле robots.txt. Вельмі важна, што гэта дакладнае імя файла, так як гэта адчувальна да рэгістра. Шукальнікі не будзе шукаць файлы з імем Robots.txt або robots.txt, напрыклад. Вы можаце загрузіць файл на WordPress сайце, дадаўшы яго ў каранёвай каталог. Вельмі важна , што гэта ваш WordPress robots.txt месца , паколькі менавіта тут пошукавыя робаты шукаць. Калі ваш сайт http://example.com, то URL для файла павінен быць http://example.com/robots.txt.

Як вы на самой справе загрузіць файл залежыць ад таго, ваш сайт створаны. Вам можа спатрэбіцца выкарыстоўваць рашэнне FTP , Хоць некаторыя ўбудовы WordPress зробіць задачу нашмат прасцей. Напрыклад, Yoast SEO ёсць robots.txt генератар , які дазваляе Вам рэдагаваць файл robots.txt непасрэдна з дапамогай панэлі адміністратара.

Вы завяршылі свой файл robots.txt і дадаць яго ў свой WordPress сайта. Цяпер прыйшоў час расказаць Google пра гэта. Гэта робіцца праз Google Search Console , Што служба Google падае для вэб-майстроў, каб праверыць стан індэксацыі іх сайтаў. Ён таксама змяшчае мноства інструментаў для аптымізацыі бачнасці.

Адпраўляючы свой WordPress файл robots.txt, вы паведамляеце Google , што вы хочаце Googlebot сканаваць ваш сайт у адпаведнасці з дырэктывамі. Вы павінны пераканацца ў тым, каб паўторна прадставіць файл кожны раз, калі вы абнаўляеце яго. Такім чынам, вы можаце пераканацца, што змены ўступяць у сілу як мага хутчэй. Калі вы яшчэ не зарэгістравана і пацверджана Ваш сайт з дапамогай Google Search Console, пераканайцеся, што зрабіць гэта першым.

Пачніце шляхам доступу да robots.txt інструмент для тэставання , Гэта дазваляе праглядаць і праверыць свой файл robots.txt перад адпраўкай:

Калі сайт ужо падлучаны да Search Console, тэкставы рэдактар будзе аўтаматычна ўтрымліваць змесціва вашага бягучага рабочай Robots.txt файла. Калі ён ўтрымлівае якое-небудзь папярэджання, сінтаксічных ці лагічныя памылкі, яны будуць выдзелены тут. Рэдагаваць гэты файл, каб выправіць усе пытанні, перш чым рухацца далей:

Пад тэкставым рэдактарам поле, якое дазваляе праверыць заблякаваны Ці пэўная вобласць Вашага сайта або дазваляецца канкрэтнымі гусенічным:

Проста увядзіце URL - адрас, і націсніце кнопку Праверыць. Калі URL ня вырашаны, то кнопка цяпер чытаць заблакаваны, і адпаведная дырэктыва будзе вылучаная чырвоным колерам у рэдактары:

З іншага боку, калі URL ня блакуецца кнопка будзе чытаць дазволена. Калі ёсць дырэктыва адпаведнае Дазволіць ў кодзе, ён таксама будзе выдзелены зялёным колерам:

Калі вынікі гэтых выпрабаванняў не тое, што вы чакалі ці хацелі, пераканайцеся, што глядзець на ваш код, каб убачыць, якія змены павінны быць зробленыя. Гэта каштуе выкарыстоўваць гэты інструмент, каб старанна праверыць свае старонкі на дадзеным этапе, а не непажаданая індэксацыі рызыкі, якія маюць адбыцца па лініі, так што не спяшайцеся.

Калі вы шчаслівыя , што ваш код не ўтрымлівае ніякіх праблем і адпавядае вашым патрабаванням, вы можаце скапіяваць яго з рэдактара і дадайце яго ў рэальны файл robots.txt. Затым вы можаце націснуць кнопку Submit, якая адкрые дыялогавае акно з трыма рознымі варыянтамі:

  • Спампаваць: Гэта стварае і загружае файл robots.txt на аснове змесціва ў тэкставым рэдактары інструмента тестеров.
  • Прагляд запампавана версіі: Гэта адкрывае прагляданым файл robots.txt сайта.
  • Адправіць: Гэта ўяўляе файл robots.txt сайта ў Google.

Націсніце кнопку Адправіць , калі вы хочаце , каб спытаць Google сканаваць ваш сайт і адкрыць для абнаўлення. Гэта зойме шмат часу для Google , каб выканаць запыт, але вы можаце перазагрузіць старонку , каб убачыць , калі ён паказвае абноўлены файл robots.txt для WordPress.

Добра створаны файл robots.txt з'яўляецца магутным інструментам , які можна выкарыстоўваць для паляпшэння SEO вашага WordPress сайта. Гэта дазваляе кантраляваць, якія часткі вашага сайта адлюстроўваюцца ў выніках пошуку і гарантуе, што пошукавыя робаты забраць змены ў свой сайт больш хутка.

Вось кароткае рэзюмэ крокаў вы павінны прытрымлівацца , каб стварыць файл robots.txt для WordPress:

  1. Стварэнне файла robots.txt з дапамогай інструмента рэдагавання тэксту.
  2. Рэдагаванне WordPress файла robots.txt , каб забараніць ўсе раздзелы сайта , якія вы не хочаце Googlebot паўзці.
  3. Загрузіце адрэдагаваны файл у каранёвай каталог вашага сайта.
  4. Праверце свой файл robots.txt з дапамогай Robots.txt інструмент тэставання кампаніі Google , А затым прадставіць яго на Google Search Console ,

Ці ёсць у вас якія - небудзь дадатковыя пытанні аб robots.txt? Калі ласка, дайце нам ведаць у каментарах ніжэй!

Такім чынам, як вы можаце кантраляваць тое, што робіць Google і не адлюстроўваецца?
Чаму гэта важна, і як гэта ўплывае на SEO?
Txt?