கேட்டதைக் காட்டும் மந்திரக்கண்ணாடி

A. வைய விரிவு வலையில் எத்தனை வலைப்பக்கங்கள் இருக்கும்? 100 கோடி, 1000 கோடி, 10,000 கோடி?

நெட்கிராஃப்டின் கணக்குப்பபடி செப்டம்பர் 2009ல் இணையத்தில் 22 கோடி இணையத்தளங்கள் இருக்கின்றன. இந்த அலசலின் படி (குத்துமதிப்பான கணக்குத்தான்) ஒரு வலைத்தளத்தில் சராசரியாக 275 பக்கங்கள் இருக்கின்றன. இரண்டையும் இணைத்துப் பார்த்தால் 2009ம் ஆண்டு செப்டம்பரில் வையவிரிவு வலையில் சுமார் ஆறாயிரம் கோடி பக்கங்கள் இருக்கின்றன.

ஆழ்கடலில் மூழ்கி முத்தெடுப்பது போலத்தான் இந்த வலைப்பக்கங்களில் நீந்தி நமக்குத் தேவையான தகவலைப் பெற்றுக் கொள்வது. தேடுபொறிகள் அந்த வேலையை மிகவும் சுலபமாக்கியிருக்கின்றன. கூகுளிங் என்று வினைச் சொல்லாகி விட்ட கூகுளின் தேடு சேவை பரவலாகப் பயன்படுத்தப்படுகிறது. கூகுள் என்ற நிறுவனம் ஆரம்பிக்கப்பட்டதே வைய விரிவு வலை தோன்றி 5 ஆண்டுகளுக்குப் பிறகுதான். தேடுதல் சேவை அளிப்பதையே முதன்மையாகக் கொண்டு ஆரம்பிக்கப்பட்ட நிறுவனம் கூகுள்.

கூகுளில் அப்படி என்ன சிறப்பு? அது ஆரம்பிக்கப்பட்ட காலத்தில் இருந்த தேடுபொறிகளை முந்தி முதலிடத்தை எப்படிப் பிடிக்க முடிந்தது?

B. யாஹூ, அல்டா விஸ்டா , எக்சைட் போன்ற தேடு பொறிகள் அப்போது முன்னணியில் இருந்தன.

யாஹூ இணையப் பக்கங்களை வகை பிரித்து தேடுபவர்களுக்குத் தேவைப்படும்படி கொடுக்கலாம் என்னும் அணுகுமுறையை வைத்திருந்தது. ஒரு இணையத் தளம் யாஹூவின் வகை தொகுப்பில் சேர வேண்டும் என்று விண்ணப்பித்தால், யாஹூவின் ஊழியர்கள், அந்தத் தளத்தைப் பார்த்து அது என்ன தலைப்பின் கீழ் பட்டியலிடப்பட வேண்டும் என்பதை உறுதிப் படுத்தி சேர்த்துக் கொள்வார்கள்.

யாஹூவில் போய் ஏதாவது சொல்லை தேடினால், முதலில் யாஹூவின் பட்டியல் அட்டவணையிலிருந்து சுட்டிகளைக் காண்பிப்பார்கள். 'நீங்கள் தேடுவது இதில் இல்லை என்றால் இணையப் பக்கங்களை தேடிப் பார்க்கவும்' என்று ஒரு தேர்வு இருக்கும். அதைக் கிளிக்கினால், இணையப் பக்கங்கள் தேடல் முடிவுகள் காண்பிக்கப்படும்.

1. யாஹூவின் அட்டவணையில் வகைப்படுத்தும் அணுகுமுறையில் தேடுபவர்களுக்கு பொருத்தமான, தேவையான பக்கங்களைக் காண்பிப்பது சிறப்பாக இருந்தாலும், தலை தெறிக்கும் வேகத்தில் வளர்ந்து கொண்டிருந்த இணையப் பக்கங்கள் அனைத்தையும் வகைப்படுத்துவது முடியாமல் போய் விட்டிருக்கும்.

2. அல்டாவிஸ்டா போன்ற இணையப் பக்கங்களை தேடும் சேவை அளிப்பவர்கள், ஒரு பக்கத்தில் குறிப்பிட்ட சொல் எத்தனை முறை பயன்படுத்தப்பட்டிருக்கிறது என்பதைப் பொறுத்து அந்த சொல்லைத் தேடுபவருக்கு காண்பிக்கும் வலைப்பக்கங்களை வரிசைப்படுத்தியிருந்தார்கள்.

ஊர்வான் (crawler) எனப்படும் கணினி பயன்பாடு இணையப் பக்கங்கள் ஒவ்வொன்றாகப் போய் அதன் உள்ளடக்கத்தையும், சொல் அட்டவணையையும் குறித்துக் கொள்ளும். கோடிக் கணக்கான வலைப் பக்கங்களை அப்படி அட்டவணைப் படுத்தி வைத்து விட்டால், ஒருவர் தேடும் போது, தேடும் சொல் பயன்படுத்தப்பட்ட எண்ணிக்கையின் அடிப்படையில் பக்கங்களை காண்பிக்கலாம்.

அவர்களது பயன்பாடு இப்படி இருந்திருக்கலாம்:

இணையப் பக்கம் : http://masivakumar.blogspot.com/2009/10/blog-post_02.html
சொல் : வலைப்பதிவு
எண்ணிக்கை : 3

இணையப் பக்கம் : http://masivakumar.blogspot.com/2009/10/blog-post_02.html
சொல் : சாதி
எண்ணிக்கை : 12

இப்படி பல கோடிக் கணக்கான தரவுகளை வைத்துக் கொண்டு குறிப்பிட்ட சொல்லைத் தேடினால் அந்தச் சொல்லை பயன்படுத்தியிருக்கும் எண்ணிக்கையை வைத்து தளங்களை வரிசைப்படுத்திக் காண்பிக்கும் படி நிரல் எழுதியிருக்கலாம்.

இந்த முறையில் பல குறைகள் இருக்கின்றன. வலைப்பதிவு, வலைப்பதிவு, வலைப்பதிவு என்று ஒரே சொல்லையே திரும்பத் திரும்ப எழுதி பக்கத்தை நிரப்பி வலையில் போட்டு விட்டால், வலைப்பதிவு என்று தேடினால் இந்த வலைப்பக்கம்தான் முதலில் காண்பிக்கப்படும்.

இதை சரி செய்வதற்கு பல வழிகளை முயன்றிருப்பார்கள்.

3. அவற்றில் ஒன்றுதான் கலிஃபோர்னியாவின் ஸ்டேன்போர்டு பல்கலைக் கழகத்தில் ஆராய்ச்சி மாணவர்களாக சேர்ந்த லேரி பேஜூம், செர்ஜி பிரின்னும் முன்வைத்த கோட்பாடு.

ஒரு அறிவியலாளரின் மதிப்பின், ஒரு அளவீடு அவரது ஆராய்ச்சிகளின் முடிவுகள் மற்றவர்களால் எவ்வளவு பயன்படுத்தப்படுகிறது என்பதையும் பொறுத்திருக்கிறது. ஒரு ஆராய்ச்சிக் கட்டுரையை மேற்கோள் காட்டும் பிற கட்டுரைகளின் எண்ணிக்கையைப் பொறுத்து அதன் மதிப்பு அதிகம். 100 பிற ஆராய்ச்சிக் கட்டுரைகள் மேற்கோள் காட்டும் ஆராய்ச்சிக் கட்டுரையை விட 500 பிற ஆராய்ச்சிக் கட்டுரைகள் மேற்கோள் காட்டும் கட்டுரையின் மதிப்பு அதிகம்.

ஒரு அறிவியலாளரின் ஆராய்ச்சிக் கட்டுரையை யாருமே மேற்கோள் காட்டவில்லை என்றால் அதற்கு மதிப்பு குறைவு. அவரது கட்டுரை உண்மையிலேயே சிறப்பானதாக இருந்தால் துறையின் மற்ற ஆராய்ச்சியாளர்கள், அந்தக் கட்டுரையை தமது வேலைகளுக்கு அடிப்படையாக வைத்து தமது கட்டுரையில் மேற்கோள் காட்டுவாரகள்.

கூகுளின் கோட்பாட்டின் முதல் படி : ஒரு இணையப் பக்கத்தின் முக்கியத்துவம், எத்தனை மற்ற பக்கங்களிலிருந்து அதற்கு சுட்டிகள் தரப்பட்டிருக்கின்றன என்பதைப் பொறுத்தது.

மேலே சொன்ன அறிவியல் துறை எடுத்துக்காட்டில், குறிப்பிட்ட கட்டுரையின் முடிவுகளை ஐன்ஸ்டைன் தனது ஆராய்ச்சியில் பயன்படுத்தி தனது கட்டுரையில் சுட்டியிருந்தால் அந்த சுட்டியின் மதிப்பு அதிகம். ஒரு இளநிலை ஆராய்ச்சியாளரின் சுட்டியை விட, பேர் பெற்ற ஏற்கனவே தனது மதிப்பை நிரூபித்துக் காட்டியிருப்பவரின் சுட்டிக்கு மதிப்பு அதிகம்.

கூகுளின் கோட்பாட்டின் இரண்டாவது படி : எல்லா சுட்டிகளும் சமமாக்க கருதப்படக் கூடாது. மதிப்பு பெற்ற, (நிறைய சுட்டிகளை பெற்ற) பக்கத்திலிருந்து கிடைக்கும் சுட்டிக்கு மதிப்பு அதிகம்.

இவற்றுக்கும் மேலாக தேடுபவர்களுக்கு சரியான பக்கங்கள் கிடைக்கும் படி புதிது புதிதாக உத்திகளை சேர்த்துக் கொண்டே இருப்பதுதான் தேடு செயலி உருவாக்குபவர்களின் சவால்.

இந்த இரண்டு அளவீடுகளையும் கொண்டு தரவு சேகரிக்கின்றன கூகுளின் ஊர்வான்கள். (இப்போது எல்லா தேடுபொறிகளுமே இந்த அடிப்படைக் கோட்பாடுகளை பயன்படுத்துகின்றன).

C. இணையத்தின் மூலம் வையவிரிவு வலையில் சேவைகள் வழங்குபவர்கள் எப்படி வருமானம் ஈட்ட முடியும் என்பது ஒரு கேள்விக்குறி. யாஹூ முதலான தேடு சேவை நிறுவனங்கள், கதம்பமாக தமது இணையத் தளங்களை மாற்றிக் கொண்டார்கள். தேடுசேவையை பத்தில் ஒன்றாக வைத்து விட்டு, இணையத் தளம் உருவாக்கும் சேவை, மின்னஞ்சல் சேவை, இணைய உரையாடல் சேவை, பொருட்கள் விற்பனை என்று தளத்துக்கு வருபவர்களுக்கு எல்லா தேவைகளையும் நிறைவேற்ற முயற்சிக்கிறார்கள்.

1. அடிப்படை சேவைகள் இலவசம், மதிப்புக் கூடுதல் சேவைக்கு கட்டணம் என்பது ஒரு வருமானம் பார்க்கும் ஒரு உத்தி.
2. வலைப்பக்கங்களில் விளம்பரங்களைக் காட்டுவதன் மூலம் வருமானம் ஈட்டுவது இன்னொரு வழிமுறை.

தொலைக்காட்சி அல்லது அச்சு ஊடகம் போலில்லாமல், இணையத்தில் விளம்பரங்களைப் பார்க்க வைப்பது சுலபமில்லை. ஒரே கிளிக்கில் தளத்தைத் தாண்டிப் போய் விட்டால், அந்த வாசகரை திரும்பி சந்திக்கவே வாய்ப்பில்லாமல் போய் விடலாம். வையவிரிவுவலையில் இருக்கும் இணையத்தளங்கள், வலைப்பக்கங்களின் எண்ணிக்கை, பயனாளரை கவனத்தைக் கட்டிப் போடும் அளவுக்கு களம் இல்லாமை இரண்டும் விளம்பரங்கள் மூலம் பணம் ஈட்டுவதை சிக்கலாக்கின.

கூகுள் இங்கும் ஒரு புதிய உத்தியைக் கொண்டு வந்தது. குறிப்பிட்ட பொருளைப் பற்றித் தேடுபவருக்கு அதில் இயல்பான ஆர்வம் இருக்கும். தேடும் சொல்லுக்குப் பொருத்தமான, தொடர்புடைய விளம்பரங்களை மட்டும் தேடல் முடிவுகளைக் காட்டும் பக்கத்தில் காண்பிக்கலாம். கூகுள் பிற்பாடு ஆரம்பித்த எல்லா சேவைகளிலுமே பயனருக்கு தேவையான விளம்பரத்தை அடையாளம் கண்டு அதை அவருக்குக் காட்டுவது என்ற கோட்பாடு பயன்படுத்தப்பட்டிருக்கிறது. கூகுளில் இலவச மின்னஞ்சல் சேவையில் மின்னஞ்சலில் வரும் சொற்களைப் பொறுத்து காட்டப்படும் விளம்பரம் தீர்மானிக்கப்படுகிறது.

விளம்பரமும் பயனரை எரிச்சலூட்ட வைக்கும்படி பெரிதாக படங்களாக இல்லாமல், உரை விளம்பரங்களாகவே காட்டப்படுகின்றன (text ads).

விளம்பரங்கள் மூலம் சம்பாதித்த கூகுளின் மொத்த விற்பனை மதிப்பு 2008ம் ஆண்டில் 21.7 பில்லியன் டாலர்கள் அல்லது சுமார் 90,000 கோடி இந்திய ரூபாய்கள் (மிகச்சிறிதளவு மற்ற வருமானங்கள்). ஆதாயம் 6.6 பில்லியன் டாலர்கள் அல்லது சுமார் 30,000 கோடி இந்திய ரூபாய்கள்.

D. இணையத்தின் பயன்பாடும் வீச்சும் அதிகமாக அதிகமாக தேடுபொறிகள் அதன் வாயிற்காப்போனாக செயல்படுகின்றன. குறிப்பிட்ட தகவலை தேடுபவருக்கு பொருத்தமான தளத்தைக் காண்பிக்கும் பணியை தேடுசேவைகள் செய்கின்றன.

இந்த சேவையை தவறாக பயன்படுத்துவதற்க பல வாய்ப்புகள் இருக்கின்றன.

1. குறிப்பிட்ட நிறுவனம் கூகுளை முறைத்துக் கொள்கிறது என்று வைத்துக் கொள்வோர். அந்த நிறுவனத்தின் இணையத் தளத்தை, வலைப்பக்கங்களை தொடர்புள்ள குறிச் சொற்களைத் தேடும் போது முதல் பக்கங்களில் வர விடாமல் கூகுள் தனது தரவுத்தளத்தில் மாற்றி விட்டால் அந்த நிறுவனம் என்ன செய்ய முடியும்?

2. மின்னஞ்சல்கள், இணையப் பக்கங்கள், இணைய உரையாடல்கள் எல்லாவற்றின் உள்ளடக்கங்களை ஊர்ந்து பொருத்தமான விளம்பரங்களை காண்பிப்பது நியாயம்தானா?

3. தனி நபர், அல்லது நிறுவனம் பற்றிய விபரங்களை அரசாங்கம் கேட்டால் தனது தரவுத் தளத்திலிருந்து எடுத்துக் கொடுப்பது தனி மனித உரிமைகளுக்கு பெரும் பாதிப்பாக அமையும்.

இதை எல்லாம் முன் நோக்கி கூகுள் தனது வழிமுறைகளாக 10 கோட்பாடுகளை வகுத்துள்ளது. அதில் ஆறாவது கோட்பாடு make money without doing evil.

மென்பொருள் சேவை வழங்க முனையும் எந்த நிறுவனத்துக்கு வழிகாட்டியாக விளங்கக் கூடியவை இந்த 10 கோட்பாடுகள்.