استفاده از رگرسیون غیرخطی و ویژگی‌های آماری جهت ارزیابی سیستم های (Interactive Question Answering (IQA

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشگاه آزاد شاهرود، استادیار دانشکده کامپیوتر

2 دانشگاه صنعتی شاهرود، دکتری کامپیوتر

چکیده

مشکل اصلی در طراحی سیستم های پرسش و پاسخ تعاملی، عدم امکان پیش‌گویی بخش تعاملی این سیستم‌ها است. به همین منظور، باید انسان در فرآیند ارزیابی شرکت داشته باشد. در این مقاله با معرفی مجموعه‌ای از ویژگی‌های ایجاد شده بر اساس n-گرم‌ها و بزرگترین رشته مشترک، یک مدل آماری مناسب برای ارزیابی سیستم‌های پرسش و پاسخ تعاملی ارائه شده است. در ابتدا با استفاده از چهار سیستم پرسش و پاسخ تعاملی موجود، پایگاه داده‌ای از مکالمات رد و بدل شده بین کاربران و سیستم‌ها ایجاد گردید. از بین مکالمات تولید شده، تعداد 540 نمونه به عنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ایجاد گردد. سپس بر روی مکالمات، پیش پردازش صورت پذیرفت و بر اساس روابط تعریف شده، تعدادی ویژگی‌ آماری جدید از متن مکالمه‌ها استخراج و بر اساس آن ماتریس ویژگی تشکیل گردید. با توجه به تعداد بالای ویژگی های پیشنهادی و برای جلوگیری از برازش خطا، بهترین ویژگی ها با استفاده از روش حذف ویژگی به روش بازگشتی انتخاب گردید تا مدل پیشنهادی بر اساس ویژگی های باقیمانده شکل گیرد. در نهایت با استفاده از رگرسیون به پیش بینی نظرات انسانی پرداخته شد که رگرسیون غیرخطی توانی بر اساس معیار مجذور کمترین مربع خطا به میزان 15/0 بهترین مدل را ارائه نمود

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

nonlinear regression and statistical properties to evaluate Interactive Question system ( IQA )

نویسندگان [English]

  • mohammadmahdi hosseini 1
  • morteza zahedi 2
  • hamid hassanpour 2
1 Department of computer Engineering, Islamic Azad university, Branch of Shahrood
چکیده [English]

Evaluation plays an important role in the interactive question answering (IQA) systems. In the context of evaluating IQA systems, there is partially no specific methodology for evaluating these systems in general. The main problem with designing an assessment method for IQA systems lies, in fact, that is rarely possible to predict interaction part. To this end, human needs to be involved in the evaluation process. In this paper, an appropriate model is presented by introducing a set of built in features for evaluating IQA systems. To conduct the evaluation process, four IQA systems were considered and based on the conversation was exchanged between users and systems, the number 540 samples were considered as suitable data to create a test and training set. After performing the preprocessing on the conversation, the statistical characteristics of the conversation extracted and base on that characteristics matrix was formed. Finally, using linear and nonlinear regression, the human thinking was predicted that the nonlinear power regression with 0.15 MSE was the best model.

کلیدواژه‌ها [English]

  • Evaluation
  • Feature Extraction
  • Interactive Question Answering Systems
  • Nonlinear Regression