موتور جستجو چیست و چگونه کار می‌کند؟

موتور جستجو ابزاری است که به‌وسیله آن می‌توانید به دنبال موضوعات و مطالب مختلف در سطح وب (Web) گشته و به آن‌ها دسترسی پیدا کنید. معروف‌ترین و پراستفاده‌ترین موتور جستجو در ایران و جهان گوگل (Google) می‌باشد.

طرز کار موتورهای جستجو به این صورت است که شما یک عبارت یا موضوع مدنظر خود را در آن‌ها وارد می‌کنید. سپس موتورهای جستجو به دنبال آن عبارت در صفحات مختلف وب گشته و صفحات وبی را که مطالب مفیدتر و مرتبط‌تری درباره عبارت وارد شده توسط شما دارند را پیدا کرده و به ترتیب اعتبار و مفید بودنشان به شما نمایش می‌دهد.

اگر مایل هستید بدانید موتورهای جستجو چگونه سایت‌های مختلف را بررسی و رتبه‌بندی می‌کنند در ادامه این مطلب با من همراه باشید.

راه‌های مختلف دسترسی به اطلاعات در سطح وب

حال فرض کنید فردی هستید که می‌خواهید اطلاعات بیشتری در مورد سئو کسب کنید. در میان میلیون‌ها صفحه وب با موضوعات مختلف چگونه می‌توانید خودتان بهترین صفحه‌ای که توضیحات مناسب شمارا در بر دارد پیدا کنید؟

قبل از پیدایش موتورهای جستجو دو راه بیشتر وجود نداشت که باز اگر مطلب مرتبط با موضوع خود را پیدا می‌کردیم نمی‌توانستیم از بهترین و مفید بودن آن مطمئن باشیم  :

یک راه این بود که آدرس وب‌سایتی که اطلاعاتی در مورد موضوع مورد نظر ما را داشت از قبل بلد باشیم.

دوم اینکه سری به دایرکتوری‌ها بزنیم. دایرکتوری‌ها وب‌سایت‌هایی هستند که آدرس وب‌سایت‌های دیگر به همراه موضوع آن‌ها را لیست می‌کنند. معروف‌ترین دایرکتوری در ایران سایت «پیوندها» است. همان صفحه فیلترینگ معروف که اگر سایتی فیلتر باشد با آن روبه‌رو می‌شوید. در جهان هم معروف‌ترین دایرکتوری سایت یاهو می‌باشد.

ولی اکنون راه سوم که اکثر ما از آن استفاده می‌کنیم استفاده از موتورهای جستجو است که محبوب‌ترین آن‌ها در جهان «گوگل» نام دارد.

محبوب‌ترین موتورهای جستجو

Google :

معروف‌ترین موتور جستجو در سطح جهان با ارائه دقیق‌ترین و بهترین نتایج ممکن به کاربر

Bing :

موتور جستجوی شرکت مایکروسافت که به صورت پیش‌فرض روی مرورگر ویندوز هم فعال می‌باشد. نتایج ارائه شده توسط این مرورگر قابل رقابت با گوگل نیست ولی قسمت جستجوی تصاویر آن به خاطر ارائه تصاویر با کیفیت مورد توجه مردم قرار گرفته است.

Zarebin :

ذره بین را می‌توان محبوب‌ترین موتور جستجوی ایرانی نامید. محبوبیت آن بیشتر به علت نمایش دقیق نتایج از گوگل است.

Baidu :

موتور جستجوی چینی که بیشتر در آسیای شرقی مورد استفاده قرار می‌گیرد.

Yahoo Search :

یاهو در شروع کار خود یکی از محبوب‌ترین دایرکتوری‌ها و موتورهای جستجو بود ولی کم‌کم رقابت را به گوگل باخت و از محبوبیت آن کاسته شد.

Yandex :

موتور جستجوی کشور روسیه که بیشتر در اروپای شرقی محبوب می‌باشد.

Ask :

یک موتور جستجو که بر پایه پرسش و پاسخ کاربران استوار است.

DuckDuckGo :

موتور جستجویی که بیشتر به خاطر امنیت و عدم رهگیری کاربران مورد استفاده قرار می‌گیرد.

مزایای موتورهای جستجو

موتورهای جستجو از چند نظر دارای اهمیت هستند:

اول اینکه شما لازم نیست برای نیازهای مختلف خود آدرس سایت‌های مختلف را به خاطر بسپارید.

دوم اینکه در وقت شما صرفه‌جویی کرده و دیگر لازم نیست مثل قدیم در دایرکتوری‌ها به دنبال سایت‌های مختلف بگردید که شاید جواب دقیق شما هم در آن‌ها نباشد.

سوم اینکه با توجه به عبارتی که در موتورهای جستجو وارد می‌کنید آن‌ها سعی می‌کنند بهترین صفحات وبی را که پاسخ شما در آن است را به شما نمایش دهد.

چهارم اینکه با الگوریتم‌هایی که دارد اغلب سایت‌های غیر مرتبط که سعی در فریب کاربر دارند را از نتایج حذف می‌کند به این صورت سایت‌ها برای بهتر دیده شدن مجبور هستند واقعاً به تولید محتوای مفید برای کاربران بپردازند وگرنه توسط موتورهای جستجو جریمه شده و از لیست نتایج جستجو (SERP) حذف می‌شوند.

SERP چیست؟

صفحه نتایج موتورهای جستجو (SERP (Search Engine Result Page نام دارد. طبیعتاً در صفحه اول نتایج بهترین و مرتبط‌‌ترین صفحات وب قرار می‌گیرند و در صفحات بعدی که کمتر کسی سراغ آن‌ها می‌رود نتایج نامرتبط‌تر هستند.
اینکه که سایت شما در کدام صفحه نتایج قرار گیرد بستگی به رعایت اصول سئو (SEO) دارد. یعنی اینکه سایت شما چقدر برای موتورهای جستجو بهینه شده است که در ادامه به آن می‌پردازم اما قبلش لازم است با طرز کار دقیق موتورهای جستجو آشنا شوید.

موتورهای جستجو دقیقاً چگونه کار می‌کنند؟

فرض کنید شما به دنبال یک موضوع تحقیقاتی خاص در سطح وب هستید و آن موضوع را در یک موتور جستجو مثل گوگل وارد می‌کنید. یک موتور جستجو باید به دنبال عبارت وارد شده توسط شما در تمام صفحات وبی بگردد که از سال‌ها پیش تا حتی همین چند ثانیه پیش ایجاد یا به‌روزرسانی شده‌اند.

این یعنی تجزیه و تحلیل میلیون‌ها صفحه وب و مقایسه آن‌ها با هم برای نمایش مرتبط‌ترین صفحات وب در لیست نتایج. مسئله دیگر اینکه همزمان با شما میلیون‌ها انسان در سراسر کره زمین در حال وارد کردن عبارات مد نظر خود در موتور جستجو هستند.

آنالیز همزمان همه این اطلاعات با بهترین اَبَرکامیپوترها تا چندین ساعت و حتی روز طول می‌کشد. فرض کنید شما عبارت «سئو» را صبح زود در موتور جستجو وارد می‌کردید و لیست نتایج وب‌سایت‌ها بعد از چندین ساعت و شب‌هنگام برای شما نمایش داده می‌شد!

بنابراین برای بهبود سرعت و عملکرد، موتورهای جستجو از یک روش خاص استفاده می‌کنند که شما اکنون قادر هستید در کسری از ثانیه صفحه نتایج (SERP) را ببینید.
یک موتور جستجو دائما در حال انجام سه کار است:

خزیدن در وب (Crawling)، فهرست‌بندی (Indexing)، رتبه‌بندی (Ranking)

خزیدن (Crawling)

خزنده، عنکبوت یا اسپایدر یک نوع ربات اینترنتی است که در سطح وب به گشت و گذار پرداخته و اطلاعات مهم هر صفحه وب(موضوع،آدرس صفحه،کلمات کلیدی،معیارهای مهم برای رتبه‌بندی و…) را برای موتور جستجو ارسال می‌کنند تا آن‌ها را درجایی ذخیره کند.

در مقاله وب (Web) چیست و چگونه به وجود آمد؟ مطالعه کردید که چگونه صفحات مختلف در وِب ساخته می‌شود و این صفحات برای برقراری ارتباط با هم از لینک (link) استفاده می‌کنند. این ربات‌ها به صفحات مختلف وب سرکشی کرده و سپس از طریق لینک‌هایی که در آن صفحات وب وجود دارد وارد صفحات دیگر وب می‌شوند و با توجه به ساختار تودرتو و پر از لینک صفحات وب به‌تدریج اطلاعات مهم تمام صفحات وب را به سمت موتورهای جستجو می‌فرستند.

این ربات‌ها دائما و تمام‌وقت در حال سرکشی در فضای وب هستند و با توجه به پارامترهایی مثل اعتبار سایت و فاصله زمانی بین مطالب منتشر شده تصمیم می‌گیرند که به هر صفحه وب چند بار در روز سر بزنند یا اصلاً سر نزنند.

همین عامل سبب می‌شود که اگر شما مطلبی را اکنون در وب‌سایت خود منتشر یا به‌روزرسانی کنید فرستاده شدن و ثبت شدن آن در موتورهای جستجو از یک دقیقه تا چند روز طول بکشد که با رعایت اصول سئو این زمان برای وب‌سایت شما می‌تواند حتی تا چند ثانیه کاهش پیدا کند.
در اکثر هاست‌ها فایلی به نام robot.txt وجود دارد که شما در آن می‌توانید مشخص کنید که ربات‌های موتور جستجو کدام صفحات وب‌سایت شما را بتوانند ثبت کرده یا نکنند.همچنین توسط ابزار Google Search Console می‌توانید به صورت دستی از موتور جستجو درخواست کنید تا ربات خود را به یک صفحه خاص از سایت شما بفرستد و اطلاعات آن را دریافت کند.

فهرست‌بندی (Indexing)

گفتیم که ربات‌های موتور جستجو اطلاعات صفحات مختلف وب را گرفته و برای این موتورها ارسال می‌کنند. موتورهای جستجو این اطلاعات را در یک پایگاه داده (DataBase) بزرگ ذخیره و فهرست‌بندی می‌کنند. این فرآیند را در اصطلاح ایندکس (index)  شدن صفحه وب گویند.

در این پایگاه داده هر صفحه وب به همراه کلمات کلیدی مرتبط به آن (کلماتی که موضوع اصلی یک صفحه را مشخص می‌کنند)، آدرس دامین و معیارهای مهمی که گوگل از آن برای رتبه‌بندی سایت‌ها استفاده می‌کند ذخیره می‌شود.

وقتی کاربری کلمه یا عبارتی را در موتور جستجو وارد می‌کند این فهرست‌بندی کمک می‌کند که کلمات وارد شده توسط کاربر با کلمات کلیدی که از قبل برای صفحات وب مختلف در دیتابیس فهرست‌بندی شده وجود دارد تطبیق داده شود و صفحات وبی که مرتبط با جستجوی کاربر هستند از بقیه صفحات فیلتر و جدا شوند.

از این طریق است که موتورهای جستجو دیگر لازم نیست برای هر جستجوی کاربر کل صفحات وب دنیا را در لحظه بررسی کنند و این فرآیند ساعت‌ها طول بکشد چون قبلاً اطلاعات مهم آن صفحات را از طریق ربات‌های خود دریافت و فهرست‌بندی کرده‌اند و حالا دسترسی به آن‌ها در کسری از ثانیه رخ می‌دهد.

رتبه‌بندی (Ranking)

وقتی که صفحات وب مرتبط با جستجوی کاربر فیلتر و مشخص شد. موتورهای جستجو باید توسط الگوریتم‌های خود مفیدترین و مرتبط‌ترین صفحات وب را از بین آن‌ها رتبه‌بندی کنند تا هر کدام که بهتر بود در رتبه بهتری در لیست نتایج(SERP) نمایش داده شود.

الگوریتم‌های موتورهای جستجو در ابتدا دچار اشتباهات فراوانی بودند و ممکن بود یک وب‌سایت برای جذب بازدیدکننده از کلماتی استفاده کند که هیچ ارتباطی با موضوع آن ندارد و موتورهای جستجو را فریب دهد ولی در طول زمان این الگوریتم‌ها همواره بهبود یافته‌اند و روزبه‌روز در حال توسعه و به‌روزرسانی هستند. پس برای درک بهتر نحوه رتبه‌بندی سایت‌ها بهتر است با الگوریتم‌های گوگل و معیارهای سئو آشنا شوید.

آشنایی با الگوریتم‌های گوگل

خب گفتیم که موتورهای جستجو با استفاده از الگوریتم‌های خود صفحات مختلف وب را رتبه‌بندی می‌کند. پس برای اینکه سایت شما رتبه بهتری در لیست نتایج جستجو داشته باشد باید این الگوریتم‌ها را بشناسید. افراد دخیل در ساخت این الگوریتم‌ها معمولاً برای جلوگیری از سو استفاده سایت‌ها، فقط یک اشاره کلی به هدف الگوریتم‌های خود می‌کنند و ریز سیاست‌های رتبه‌بندی صفحات وب را بیان نمی‌کنند. به این ترتیب بیشتر چیزی که امروز درباره SEO (بهینه‌سازی سایت برای موتورهای جستجو) می‌دانیم برای مبنای اشارات ریز این افراد، صحیح و خطاها و تجارب افراد متخصص در این حوزه است.

در ادامه هدف برخی به‌روزرسانی‌های صورت گرفته در الگوریتم‌های گوگل را که در طول سال‌های مختلف منتشر شده‌اند را آورده‌ام. گوگل سایت‌هایی را که این موارد را رعایت نکنند جریمه کرده و از لیست نتایج خود حذف می‌کند:

– Panda (سال 2011):

محتوای تکراری، دزدی یا کپی شده، محتواهای ضعیف و اسپم و صفحات وبی که در استفاده از کلمات کلیدی زیاده‌روی کرده‌اند جریمه می‌شوند.

– Penguin (سال 2012):

اگر در یک صفحه وب لینک‌های غیر مرتبط یا لینک‌ با متن غیرطبیعی استفاده شده باشد جریمه می‌شود.

– Hummingbird (سال 2013):

محتوای بی‌کیفیت و زیاده‌روی در استفاده از کلمات کلیدی باعث جریمه شما می‌شود. (گوگل در این آپدیت سعی کرد تا حدود زیادی از کلمات کلیدی مستقل شود. در واقع از این آپدیت و آپدیت‌های بعدی هوش مصنوعی گوگل می‌تواند یک متن را پردازش کند و خودش موضوع کلی آن را دریابد. به همین ترتیب منظور افراد را به هر شکلی که عبارت مورد نظرشان را در کادر جستجو وارد کنند را درک می‌کند.)

– Mobile (سال 2015):

اگر صفحات وب برای موبایل بهینه نشده باشند رتبه خوبی کسب نمی‌کنند.

– RankBrain (سال 2015):

تکمیل کننده آپدیت Hummingbird و تقویت هوش مصنوعی گوگل. همچنین سایت‌های دارای تجربه کاربری (UX) ضعیف رتبه خوبی کسب نمی‌کنند.

– Medic (سال 2018):

سایت‌های غیرقابل اعتماد، فاقد اعتبار و غیر تخصصی رتبه خوبی کسب نخواهند کرد.

– Bert (سال 2019):

تکمیل کننده Hummingbird و RankBrain در تقویت هوش مصنوعی گوگل در درک صفحات وب. همچنین نوشتار بی‌معنا یا بدون تناسب با صفحه وب شناسایی شده و باعث کاهش امتیاز آن صفحه می‌شود.

بااین‌حال افراد متخصص در این زمینه از روی تجربه و تحقیقات انجام شده هر روزه معیارهای جدیدی را برای بهبود رتبه سایت‌ها در موتورهای جستجو بیان می‌کنند معیارهایی مثل: سرعت سایت، لینک سازی داخلی و خارجی مناسب، اصالت محتوا، کدنویسی صحیح و… که با توجه به آپدیت‌های جدید الگوریتم گوگل هر روز به تعداد این معیارها هم اضافه می‌شود. پس به طور مفصل به توضیح تک‌تک این مطالب در بخش آموزش سئو در آکادمی بهمنی خواهیم پرداخت.

کاربران مهم‌تر هستند یا موتورهای جستجو؟

خب با برخی الگوریتم‌های گوگل آشنا شدید. هدف گوگل همان‌طور که از گفته هم بنیان‌گذار آن (آقای لری پیج) در ابتدای این مطلب مشخص است همواره نشان دادن بهترین و مفیدترین مطالب به کاربر است. به‌جای تمرکز بر تکنیک‌های روز سئو یا فریب موتورهای جستجو همواره سعی کنید برای کاربر بنویسید. فکر کنید چگونه می‌توانید به بهترین شکل مطلب را به کاربر انتقال دهید یا چگونه می‌توانید جذابیت و خوانایی مطلب خود را بالا ببرید.

(SEO (Serach Engine Optimization یا بهینه‌سازی سایت برای موتورهای جستجو برای این به وجود آمد که یک زبان مشترک بین سایت شما و موتورهای جستجو ایجاد کند. برای اینکه به موتورهای جستجو بفهمانید صفحه وب شما درباره چه موضوعی است تا سایت شما را بهتر درک کنند و رتبه بهتری به آن بدهند . شاید در قدیم رعایت برخی اصول سئو خیلی ضروری به نظر می‌رسید. ولی اکنون الگوریتم‌ها و هوش مصنوعی گوگل در حدی پیشرفت کرده است که خود موتور جستجو می‌تواند معنای کلمات، مطالب و حتی تصاویر و ویدئوها را درک کند.

نمی‌گویم رعایت هیچ اصلی در SEO دیگر مهم نیست ولی تمرکز شما باید بیشتر روی بازدیدکننده سایت باشد نه موتورهای جستجو. خود گوگل هم دنبال آن است که سایتی را به مخاطب نشان دهد که بهترین تجربه را برای بازدیدکننده رقم بزند. پس اگر همیشه کاربر را در اولویت قرار دهید خود به خود بیشتر معیارهای سئو را رعایت کرده‌اید و همواره یک قدم از موتورهای جستجو جلو هستید.

یادتان باشد رتبه بهتر در گوگل یعنی بازدیدکننده بیشتر برای وب‌سایت شما. تولید محتوا و سئو به جز زمان تقریباً هزینه دیگری برای شما ندارد و روشی پایدار و ماندگار برای جذب بازدیدکننده است پس از آن غافل نشوید و برای جذب مخاطب فقط به تبلیغات بسنده نکنید.