أولاً: مقدمة:

      يعد قياس التحقق Precision من أهم الأساليب لتقييم كفاءة أداء الاسترجاع في نظم استرجاع المعلومات ومنها بالطبع أدوات البحث، وغالباً ما يلازمه الاستدعاء Recall في قياس كفاءة الأداء:

- الاستدعاء هو نسبة عدد الوثائق ذات العلاقة بموضوع البحث التي يسترجعها النظام إلى إجمالي الوثائق الصالحة أو ذات العلاقة في قاعدة بيانات النظام، وهو يقيس قدرة النظام على الاسترجاع .

- التحقق هو نسبة عدد الوثائق الصالحة أو ذات العلاقة بموضوع البحث إلى إجمالي الوثائق المسترجعة، وهو يقيس دقة النظام في الاسترجاع.

     ويشير Michael Buckland و Fredric Gey إلى الاستدعاء بأنه "اكتمال الاسترجاع" Completeness of Retrieval بينما يشيرا إلى التحقق بأنه "نقاء الاسترجاع" Purity of Retrieval (في مقالتهما:

The Relationship between Recall and Precision . Journal of American Society for Information Science. Vol. 45, No 1 (1994) , pp 12-19 . p 12 )

     ومن الجدير بالذكر الإشارة إلى أن قدرة أي نظام على ضمIncluding  المصادر ذات العلاقة أو الصالحة لموضوع البحث في قاعدة بياناته  إلى الوثائق المسترجعة، وفصل Excluding المصادر غير الصالحة وغير ذات العلاقة بموضوع البحث عن الوثائق المسترجعة تؤثر على معدلات الاستدعاء والتحقق.

     ويحتاج كلاهما إلى نسق ما لتحديد كيفية الحكم على المصادر بصلاحيتها أو عدم صلاحيتها، كما أن الاستدعاء يتطلب معرفة إجمالي عدد الوثائق/المصادر الصالحة في قاعدة بيانات الأداة، ولهذا سيتم قياس التحقق هنا.

ثانياً: التجربة:

1- غرض التجربة:

قياس التحقق أو دقة نظام الاسترجاع

2- الأدوات الخاضعة للتجربة:

محركا البحث "عربي" و "جوجول"

3- توقيت إجراء التجربة:

يوم الأحد الموافق 29 أكتوبر 2006 ، من 11 صباحاً حتى 12.15 ظهراً

4- استراتيجية البحث:

      تم استخدام استراتيجية بحث ( للسفر والسياحة ) مصاغة بشكل يماثل صياغة المصطلحات في الأوعية الموجودة على الإنترنت، لأن الاسترجاع يتم بالكلمات المفتاحية في بيئة حرة غير مضبوطة فهذا يلقي بعبء أكبر على المستفيد لتوقع كيف يمكن أن تكون استراتيجية البحث الناجحة وكلما كانت أقرب للاستخدام الطبيعي ومراعاة الاستخدامات اللغوية المختلفة في النطاق الموضوعي المبحوث فيه كلما كانت النتائج أفضل. (بإمكانك أن تجرب مثلاً البحث بالاستراتيجية التالية (شركة سياحة) ستجد أن مواقع شركات السياحة المسترجعة تكاد تكون منعدمة في أول 100 نتيجة وذلك في جوجول وعربي)

5- وصف التجربة:

     تم اختيار مجال موضوعي بعينه هو السفر والسياحة، وتم افتراض أن المستفيد يحتاج الوصول إلى مواقع شركات السياحة العربية، وتم صياغة استراتيجية البحث المعبرة عن هذه الحاجة وفقاً لطبيعة بيئة الاسترجاع ونمط الاسترجاع المستخدم كما أوضحنا في النقطة السابقة.

      وبعد ذلك تم تنفيذ البحث في الأداتين يدوياً، أعقبه فحص النتائج المسترجعة لتحديد مدى صلاحيتها وذلك لأول 100 نتيجة مسترجعة، وتجدر الإشارة إلى أنه تم الحكم بصلاحية مصدر من عدمه اعتماداً على النقاط التالية:

 - موقع مستقل لشركة سياحة عربية (سواء اسم نطاق مستقل أو مستضاف على اسم نطاق آخر أو  مجاني، وقد مثلت المواقع ذات اسم النطاق المستقل الأغلبية حيث كانت 36 من إجمالي 38)

- الموقع يتكون من أكثر من صفحة أي أنه موقع كامل ( تم استبعاد موقعين من كل أداة وفقاً لهذا العنصر) .

- أن الموقع غيرمتوقف لأي سبب، وغير معطل، وليس تحت الإنشاء.

- أن تكون التسجيلة المسترجعة تمثل الموقع ذاته ولا تمثل مواقع أخرى مذكور عليها.

- يعتبر الموقع صالحاً سواء كانت التسجيلة المسترجعة لصفحته الرئيسية أو صفحة فرعية وكل منهما يتم حسابه.

- يعتبر الموقع صالحاً حالة ظهوره كعنوان قديم نشط يقود إلى الموقع الجديد بعنوانه الجديد.

      وقد تم اختيار "جوجول" مع "عربي" لإجراء القياس المقارن عليهما لنفس الأسباب الوارد ذكرها في التجربة السابقة.

6- نتائج التجربة:

أظهرت التجربة النتائج التالية:

أولاً: بالنسبة إلى معدل التحقق في المصادر المسترجعة من "عربي" :

من إجمالي 100 مصدر مسترجع ثبت تحقق 6 منها فقط، بنسبة تحقق 6% ، أي أن 6 فقط هي ذات العلاقة بالبحث و94% من الوثائق المسترجعة ليس لها أي علاقة بالبحث.

ثانياً: بالنسبة إلى معدل التحقق في المصادر المسترجعة من "جوجول":

من إجمالي 100 مصدر مسترجع ثبت تحقق 41 منها، بنسبة 41 % ، أي أن 41 فقط هي ذات العلاقة بالبحث و59% من الوثائق المسترجعة ليس لها أي علاقة بالبحث.

ويتضح من ذلك الآتي:

أولاً: عدم دقة نظام الاسترجاع في محرك البحث "عربي" حيث يعتبر معدل التحقق لديه ضعيف جداً، ويعني هذا ضياع المستفيد وتشتته بين عدد هائل من المصادر غير الصالحة لبحثه.

ثانياً: في مجال المقارنة بين معدلي التحقق في "عربي" و"جوجول"، يتضح أن نسبة تحقق الأول هي 14.6% من إجمالي تحقق الثاني، ويوضح ذلك الفارق الكبير بين معدل التحقق في كل منهما.

—————————— 

     تقدم نتائج هذه التجربة كما رأينا مؤشرات هامة في النظر إلى دقة نظام الاسترجاع في أداة البحث "عربي"، ومن خلال ذلك يمكن أن نرى الاتساق مع ما يشير إليه "عربي" أنه "يعد… زواره بنتائج بحث مذهلة ومتفوقة" كما تحدثت عن ذلك في تدوينة سابقة.