هڪ crawler ڇا آهي؟ crawler اوزار "Yandex" ۽ گوگل

هر روز انٽرنيٽ تي موجود نئين مواد جي هڪ وڏي مقدار، هڪ ويب سائيٽ جي پراڻي صفحا اپڊيٽ پيدا ڪرڻ تصويرون ۽ وڊيوز اپلوڊ آهي. تلاش جي انجڻين کان ڳجھي کان سواء دنيا جي وڏين ويب، انهن دستاويز جو ڪوبه ۾ ملي نه ٿي سگهي. ڪنهن به ڏنو وقت robotic پروگرامن وانگر متبادل موجود نه رکندو آھي. هڪ ڳولا ڏسندي، ۽ ڪيئن هلائڻ لاء ڇو اوھان کي ان جي ضرورت ڪهڙي آهي؟

هڪ ڳولا ڏسندي ڇا آهي

Crawler سائيٽ (جي ڳولا انجڻ جي) - ان کي هڪ خودڪار پروگرام ته صفحا جو لکن جو دورو ڪري، جلدي ڪنهن به ڇوڪريء مداخلت کان سواء انٽرنيٽ جي ذريعي navigating وس وارو آھي آهي. Bots تارن جي مسلسل سکين آهن جو دنيا جي وڏين ويب جي، نوان صفحا پئجي ويو ۽ باقاعدي جو دورو اڳ ئي indexed. ويب crawlers spiders لاء ٻين نالن، crawlers، bots.

ڇو سرچ انجڻ spiders آهن

هن جو مکيه ڪم آهي ته سرچ انجڻ spiders انجام - صفحا indexed، گڏو گڏ متن، تصويرون، آڊيو ۽ وڊيو فائيلون جيڪي انھن تي آهن. Bots حوالن، ائين جي سائيٽن (ڪاپيون) ۽ تازه هڻندا. هن مشيني انسان به عالمي تنظيم، جنهن develops ۽ implements دنيا جي وڏين ويب لاء ٽيڪنيڪي معيار جي ڀڃڪڙي معيار لاء HTML-ڪوڊ ڪنٽرول انجام.

ڇا ترتيب بنائڻ آهي، ۽ ڇو ان کي گهربل آهي

ترتيب بنائڻ - آهي، حقيقت ۾، تلاش انجڻين جي هڪ خاص ويب پيج کي کولڻ جي عمل آهي. هن پروگرام هن ماڳ، تصويرون، وڊيوز، outbound جوڙي تي متن اسڪين ڪري ٿو، ته پوء هن صفحي کي ڳولا جا نتيجا ۾ نظر اچن ٿا. ڪجھ ڪيسن ۾، ماڳ خودڪار طريقي سان اسڪين ٿيل نه ٿي سگهي ٿو، ته پوء ان کي هٿرادو جي ماهر جي ڳولا انجڻ کي شامل ڪري سگهجي ٿو. عام طرح، هن جي غير موجودگيء ۾ وٺندي ظاهري جوڙي جو هڪ خاص (اڪثر رڳو تازو پيدا) صفحي کي.

ڪيئن ڳولا انجڻ spiders

هر سرچ انجڻ گوگل سرچ ڏسندي سان پنهنجي باٽ جيالا هڪ اهڙي پروگرام، "Yandex" يا ٻين نظام تي ڪم موجب بامعني ناهيون ڪري سگهو ٿا ڇڏيو آهي.

عام طور، ڪنهن کي ڏسندي ڪم اصول ڏنل آهي: جي پروگرام جو ماڳ ۽ مکيه صفحو کان ظاهري جوڙي تي "اچي ٿو"، (تن کي ڳولي overhead ته صارف کي ڏسي نه ٿو سميت) ويب وسيلن جي "آيل". ٻيڙي هڪ ويب سائيٽ جي صفحن جي وچ ۾ نيويگيٽ ۽ ٻين ڪرڻ تي وڃڻ لاء ڪيئن آهي.

هن پروگرام انڊيڪس ڪرڻ جنهن ماڳ چونڊيو ويندو؟ گهڻو ڪري نه "سفر" جي ڀيٽ ۾ ڪوريئڙي وڏي حوالي وزن سان خبر سائيٽن يا اهم وسيلن جي directories ۽ گڏيل سان ٿيندي آهي. Crawler لاڳيتو جي صفحن تي هڪ طرف هڪ اسڪين ڪري ٿو، جي شرح ۽ هيٺيان عنصر ترتيب بنائڻ جي consistency تي:

• اندروني: perelinovka (هڪ ئي وسيلن جي صفحن جي وچ ۾ اندروني جوڙي)، سائيٽ جي ماپ، جو صحيح ڪوڊ، صارف-دوست ۽ پوء تي؛
• ظاهري: ڪل حوالي وزن، جنهن جي سائيٽ تي ٿي ويا آهن.

پهرين شيء robots.txt جي ڪنهن به ويب سائيٽ تي تلاش ڏسندي ڳولا. وڌيڪ وسيلن جي ترتيب بنائڻ جي معلومات جي بنياد تي پرفارم ڪيو آهي ان جي آهي ملي هن دستاويز مان. هن فائيل کي "spiders" ته ڳولا انجڻين جي صفحي دورن جي امڪان وڌي سگهن ٿا، ۽، نتيجي طور، سنڌ جي "Yandex" يا گوگل ۾ هڪ شروعات اچي ماڳ حاصل ڪرڻ لاء خاص هدايتن تي مشتمل آهي.

پروگرام analogs crawlers

اڪثر جي مدت "تلاش ڏسندي" سمجھ، دڪاندار يا خودمختيار ايجنٽ، "ڪول" يا "ورم" سان پريشان آهي. صرف ايجنٽ سان مقابلي ۾ اهم اختلاف بپتسما، ٻيون معنائون مشيني انسان جي اهڙي قسمن ڏانهن اشارو.

مثال طور، ايجنٽ ٿي سگهن ٿا:

• علمي: جي پروگرام، جنهن ويب سائيٽ تان ويب سائيٽ تي رکيو ويو آهن، هڪ خودمختيار تعالى عنہ اڳتي کي ڪيئن؛ اهي انٽرنيٽ تي بلڪل عام نه آهن؛
• خودمختيار: اهي ايجنٽ جي پراڊڪٽ کي، ڳولا، يا ٻاهر جون شڪليون، جي پوء-سڏيو فلٽر، جنهن ٿوري نيٽ ورڪ پروگرام سان ملندڙ آهن کي ڀريندؤ. منتخب ۾ استعمال ڪندڙ کي مدد؛.
• دڪاندار: هن پروگرام کي دنيا جي وڏين ويب، ڪنهن برائوزر (مثال طور، ناٽڪ، يعني، گوگل ڪروم، سان استعمال ڪندڙ لهه وچڙ کي ڏيندا آهيو ته)، پيغمبر (Viber، ٽيليگرام) يا اي-ميل پروگرام (ذيشان لک ۽ Qualcomm).

"آڻيندس" ۽ "ورم" کان وڌيڪ جي ڳولا انجڻ جي "spiders" سان ملندڙ جلندڙ آهن. هڪ نيٽ ورڪ جي وچ ۾ ۽ مسلسل هن جيترو ڪالوني وانگر لهه وچڙ جي پهرين صورت، "ورم" جي معياري crawler طور تي هڪ ئي ٻين ڏسجڻ ۾ replicate تي وس وارو آھي.

ڳولا انجڻ جي مشيني انسان جي ڳالهه ٻولهه

crawlers جي ڪيترن ئي قسمن جي وچ ۾ فرق. هن پروگرام جو مقصد تي مدار رکندي، اهي آهن:

• "ائين" - ورجايل ويب برائوزنگ آهن.
• موبائل - صفحا جو موبائل ورجن تي زور.
• تڪڙا - جديد تازه ڏسڻ جي تڪڙو نئين معلومات ٺيڪ.
• حوالي - حوالي انڊيڪس، انهن جي تعداد ڳڻپ.
• Indexers مواد جي مختلف قسمن - متن، آڊيو، وڊيو، تصويرون لاء مخصوص پروگرامن.
• "Spyware" - صفحا آهي ته اڃان تائين سنڌ جي سرچ انجڻ ۾ ڏيکاريل نه آهن کي ڳولي.
• "Woodpecker" - وقت سندن لاڳاپي ۽ افاديت چيڪ ڪرڻ سائيٽن جو دورو ڪريو.
• قومي - جي ويب ملڪ ڊومينس مان هڪ تي واقع وسيلن (.kz .ua مثال طور، .mobi، يا) برائوزنگ.
• گلوبل - انڊيڪس سڀني قومي سائيٽن جو.

روبوٽ اهم ڳولا انجڻين

اتي به ڪجهه سرچ انجڻ spiders آهن. نظريي ۾، انهن جي فعاليت وڏي پيماني تي ناهيون ڪري سگهي ٿو، پر عملي طور هن پروگرام لڳ ڀڳ هڪجهڙائي آهي. مکيه ٻه اهم ڳولا انجڻين ترتيب بنائڻ صفحا روبوٽ اختلاف جي پٺيان طور آهن:

• جاچ جي stringency. اهو ته crawler جي جيالا "Yandex" ٻڌائڻ stricter ڪاٿي دنيا جي وڏين ويب جي معيار سان تعميل لاء ويب سائيٽ تي ايمان آندو آهي.
• هن ماڳ جي سالميت جي پرزرويشن. گوگل crawler indexes سڄي سائيٽ (ميڊيا مواد شامل آهي)، "Yandex" به selectively مواد مان ڏسي سگهو ٿا.
• رفتار امتحان نوان صفحا. گوگل چند ڏينهن جي اندر جي ڳولا جا نتيجا ۾ نئين وسيلن جي وڌائيندو، "Yandex جي" عمل جي صورت ۾ ٻن هفتن يا وڌيڪ وٺي سگهون ٿا.
• ٻيهر ترتيب بنائڻ جي گهڻي. Crawler "Yandex" هفتي ۾ هڪ ٻه ڀيرا تازه لاء پڙهيل، ۽ گوگل - مان هر 14 ڏينهن.

انٽرنيٽ، يقينا، ٻن جي ڳولا انجڻين تائين محدود نه. ٻين جي ڳولا انجڻين انهن جي مشيني انسان جيڪو پنهنجي ترتيب بنائڻ جي حراست جي تابعداري ڪئي. ان کان سواء، اتي ڪيترن ئي "spiders" ته اهم نه ڳولا وسيلن ٺهيل آهن، ۽ فرد جي ٽيمن يا webmasters آهن.

عام misconceptions

مشهور عقيدي جي برخلاف، "spiders" جي معلومات عمل نه ڪندا آھن. هن پروگرام صرف اسڪين ۽ دڪانن صفحا ۽ وڌيڪ درجي جو هڪ مڪمل طور تي مختلف مشيني انسان لڳن ٿا.

به، ڪيترن ئي استعمال ڪندڙن کي يقين آهي ته ان جي ڳولا انجڻ جي spiders هڪ منفي اثر ۽ "اجائي" انٽرنيٽ آهي. حقيقت ۾، "spiders" جي ڪجهه ورجن بامعني سرور overload ڪري سگهو ٿا. نه به هڪ انساني عنصر آهي - جي ماهر، جن جي پروگرام کي پيدا ڪيو، جو ڏسندي تشڪيل ۾ غلطين ڪرڻ ڪري سگهو ٿا. اڃان موجود پروگرامن جي سڀ کان چڱي طرح ٺهيل آهن ۽ professionally منظم، ۽ ڪنهن به الطريق مسئلا فوري طور ختم ڪري.

ڪيئن ترتيب بنائڻ منظم ڪرڻ

ڳولا انجڻ جي مشيني انسان جي خود پروگرام آهن، پر ان جي ترتيب بنائڻ جي عمل ۾ جزوي جي ماهر جي ڪنٽرول ڪري سگهجي ٿو. هن وڏي ظاهري ۽ مدد ڪري اندروني اصلاح جي وسيلن جي. ان کان سواء، توهان هٿرادو هڪ سرچ انجڻ کي هڪ نئين ويب سائيٽ ۾ شامل ڪري سگهو ٿا: وڏي وسيلن صفحا رجسٽريشن جو هڪ خاص صورت آهي.