Jak mnie widzi Robot Googla

JoomlaToProste - Najnowszy EP

Jak mnie widzi Robot Googla

sobota, 15 listopad 2014 01:00 Napisał 
Robot.txt - SEO Robot.txt - SEO

Otóż jak się okazuje standardowy plik robot.txt który jest w Joomla będzie się sprawdzał tylko dla stron podstawowych, a te które są już rozbudowane wymagają ingerencji właśnie w ten plik.

Google bierze tak dużo czynników do pozycjonowania że każdy niuans się liczy, zważywszy że strony teraz muszą być widoczne na wszystkich urządzeniach od telefonu po desktop.

 Ostatnio odwiedziłem sobie narzędzia webmasterskie każdy kto ma stronę powinien mieć tam konto i zaglądać dość często aby analizować błędy i je naprawiać. To tyle słowem wstępu przejdźmy do analizy tego co chce wam przekazać i co mnie zdziwiło a po raz kolejny utwierdziło że nie wolno ufać rozwiązaniom uniwersalnym. Każdy CMS jest takim narzędziem uniwersalnym czy tego chcemy czy nie i tylko od programistów zależy jako bardzo polubi się z wielkim bratem GOOGLE!

Robot.txt

[quote width="auto" align="left" border="COLOR" color="COLOR" title="http://pl.wikipedia.org/wiki/Robots_Exclusion_Protocol"]Robot.txt - mechanizm informowania automatów o tym, czego nie powinny robić na stronie www.[/quote]

Tak mówi nam Wikipedia i jest to prawie zgodne z prawdą. Bo raz że możemy zabronić to i możemy pozwolić! Służy do tego komenda Allow

[highlighter label="Standardowy robot.txt Joomla" linenums="yes" startnums="1"]User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /images/ <---  # użyj jeśli chcesz aby obrazy były indexowane.

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/[/highlighter]

W takim wariancie robotowi zabrania się indexowania wszystkiego, co jest kłopotliwe bo blokowane są również css,js i np google może nie poprawnie widzieć naszą stronę dla mniejszych urządzeń.

[quote width="auto" align="left" border="yelow" color="COLOR" title="Wypowiedź jednogo z pracowników Google"]Don't block CSS, Javascript and other resource files by default. This prevents Google bot from properly rendering the page and understanding that it's optimized for mobile.[/quote]

Czyli sprawa jasna.

[highlighter label="Example" linenums="yes|no" startnums="1"]#Disallow: /images/ <= taki zapis pozwoli robotowi indexowanie obrazów.[/highlighter]

Pozostaje kwestia czy tego chcemy czy nie ale to już sprawa indywidualna.

W zasadzie jeśli używamy czegoś nie standardowego to trzeba przeanalizować plik robot.txt i narzędziach webmasterskich wy renderować sobie własną stronę wówczas będziemy mieli podgląd co jest nie tak.

error-robot

Oczywiście nie idźmy na łatwiznę i nie # haszujmy wszystkiego jak popadnie. Narzędzia dokładnie powiedzą do czego robot dostępu niema. W tym wypadku chodziło o plugin Jch_optimize więc dodać trzeba dwie linijki kodu na początku.

[highlighter label="Jch_optimize dodanie kodu do robot.txt" linenums="yes|no" startnums="1"]Allow: /plugins/system/jch_optimize/assets/

Allow: /plugins/system/jch_optimize/assets2/[/highlighter]

Drobna uwagą jak będziecie dodawać inne wpisy zwróćcie uwagę że duże i małe litery mają znaczenie czyli allow nie zadziała a Allow tak!

Najczęstszymi folderami które będą wywoływać błędy są cache, images, media, js (nie samej J! tylko komponentów firm trzecich)

Follow, Index

Budując stronę wypadało by nie zapraszać google, ponieważ raz zaindexowana stroną źle może długoooo się utrzymać w wynikach google więc w konfiguracji globalnej powinno się ustawić NOFOLLOW, NOINDEX

A po skończeniu prac i otrzymaniu wersji finalnej wizualnej strony z treścią gotową dla użytkownika końcowego ustawić follow, index

robots-meta-tag-2

 Zaawansowane ustawienia robot.txt

Można posłużyć się również ustawieniami pliku robot.txt aby uniknać duplikowania treści z linków NON-SEF czyli nie przyjaznych. Stosując zapis po niżej.

[highlighter label="Example" linenums="yes|no" startnums="1"]User-agent: *

Disallow: /*?*[/highlighter]

Tutaj trzeba dodać że np może wystąpić problem z frameworkiem T3 i innymi które np generują odpowiednie JS.

Podsumowanie

Podsumowanie będzie proste pokaże jak wyglądała strona widziana przez google robota przed i po : )

[columns grid="yes" background="#fff"] [column_item col="5"]robot-smartfone-orginalny-joomla[/column_item][column_item col="5" offset="1"]robot-smartfone-joomla[/column_item][/columns][columns grid="yes" background="#fff"]

[column_item col="6"]robot-orginalny-joomla[/column_item]

[column_item col="6" offset="0"]robot-optymalizacja-joomla[/column_item]

[/columns]

Aby być poprawnym z google musiałbym zmienić szerokość strony na 970px ale wówczas jest strasznie dużo wolnego miejsca po bokach. Więc myślę że za niedługo będą obowiązywać nowe standardy szerokości, szczególnie że 4K jest w drodze na desktopy. Obecna szerokość to 1270px i dla szerokich ekranów 1470px (te szerokości obowiązuje u mnie na stronie.)

AKTUALIZACJA 08.2015

Można jeszcze dodać na początek robot.txt wpis.

[highlighter label="Example" ]
Allow: /*.js
Allow: /*.css
[/highlighter]
Czytany 2152 razy Ostatnio zmieniany wtorek, 18 sierpień 2015 16:00
Marcin Równicki (MJ MARTINO)

Joomla zajmuję się od dłuższego czasu dla uściślenia od czasów MAMBO (2007) i nie straszne mi jej nowe wersje. Wdrażam, optymalizuje, przyspieszam i zabezpieczam strony. Traktuje to jako dodatkową pracę w wolnych chwilach.

Dobre kino oraz seriale chętnie oglądam, dziele się recenzjami na https://cobejrzec.pl  

Public Cloud w wolnych chwilach pochłaniam. Wiąże z tym swoją przyszłość zawodową (Amazon Web Services, Azure, Google Cloud Computing, plus wiele innych mniejszych graczy)

"Jeśli coś jest niemożliwe do zrobienia, musi się znaleźć ktoś kto tego nie wie, przyjdzie i to zrobi."

Strona: https://mjmartino.eu/
Marcin Równicki
Marcin Równicki
Joomla, Bieganie, Cloud, Fotografia, Muzykę House, Kinomaniak, Technologie Przyszłości, Automatyzacje, Bloger,

 

Szukaj