7 مقاله جدید فارسی در رابطه با متن کاوی

اختصاصی از اس فایل 7 مقاله جدید فارسی در رابطه با متن کاوی دانلود با لینک مستقیم و پر سرعت .

کنفرانس بین المللی پژوهش های کاربردی در فناوری اطلاعات، کامپیوتر و مخابرات (19 نوابر 2017)

بررسی انواع منابع دارای ساختار و منابع بدون ساختار و پیش پردازش های ابهام زدایی مفهوم کلمات در پردازش زبان طبیعی:

چکیده :

دانش مهمترین بخش ابهام زدایی مفهوم کلمات است. این دانشها میتوانند در شکل های گوناگون و به صورت یک مجموعه از متون باشند که در آن مفهوم کلمه برچسب گزاری شده است. پایگاه دانش یک مجموعه از متن، برچسب ها و توضیحات در جهت تشخیص مفهوم کلمه است. مانند فرهنگ لغت قابل خواندن توسط ماشین، شبکه معنایی، اصطالحنامه و آنتولوژی. تقریبا از تمام این منابع در ابهام زدایی مفهوم کلمات استفاده میشود. کلیه منابع به دو دسته منابع دارای ساختار و منابع بدون ساختار تقسیم میشوند. جمله ورودی، یک متن بدون ساختار از اطالعات است. برای کسب مفهوم صحیح کلمات باید بر روی آن پیش پردازشهایی انجام شود تا بتوانیم بستری را فراهم نماییم که بتوان بهترین مفهوم را بدست آورد. در این مقاله، منابع دارای ساختار و منابع بدون ساختار و پیش پردازش های ابهام زدایی مفهوم کلمات در پردازش زبان طبیعی را مورد بررسی قرار می دهیم که بر اساس بررسی های انجام شده، استفاده از وردنت پیشنهاد می شود که یک منبع ضروری برای ابهام زدایی مفهوم کلمات است و یک منبع دارای ساختار می باشد.

کلمات کلیدی: اصطالحنامه، فرهنگ لغتهای قابل خواندن توسط ماشین، آنتولوژی، وردنت، Corpora

مروری بر روشهای خالصه سازی خودکار متون:

چکیده :

امروزه پردازش زبان طبیعی در زمینه های گوناگون نظیر خالصهسازهای خودکار و مترجمهای 1 ماشینی ، توجه زیادی را به خود جلب نمودهاند. در زبان فارسی هم مانند سایر زبانهای دیگر دنیا تالشهایی در زمینه ساخت ابزارهای خالصه سازی صورت گرفته است. تمرکز محققان بر ارایه روشهایی متمرکز است که بتواند خالصه هایی پر محتوا، سلیس و روان نسبت به روشهای خالصه سازی پیشین ارایه دهند . خالصه سازی یک مهارت نگارشی به شمار می رود، که هدف از ایجاد سیستم خالصه ساز اتوماتیک تقلید کلیه مراحلی است که توسط عامل انسانی انجام می شود، بدین صورت کهمتن به طور کامل خواندهوفهمیده شودوبا تشخیصوتفکیک قسمت های مهم وغیرمهم متن، نسخه خالصه شده متن اصلی تولید گردد. هدف از خالصه سازی خودکار سند، تولید یک نسخه مختصرتر از سند اصلی توسط یک برنامه رایانهای بهنحویکهویژگیهاونکاتاصلی سند اولیه حفظشود.بنابرتعریفارائه شدهدراستاندارد 212 ISO ،خالصه "یک بازگویی مختصر از سند" می باشد. روش های تولید خالصه را با توجه به انواع دیدگاه های مختلف خالصه سازی می توان به چندین دسته تقسیم بندی نمود، به عنوان مثال روش تولید خالصه تک سندی و چند سندی، تک زبانه و چند زبانه، مبتنی بر تعامل با کاربر و غیر مبتنی بر تعامل با کاربر و... لیکن با توجه به اهمیت فاکتور خروجی در تولید خالصه در این مقاله به بررسی روش های تولید خالصه گزینشی)استخراجی( و چکیده ای)مفهومی( پرداخته می شود.

واژگان کلیدی:پردازش زبان طبیعی، خالصهسازهای ماشینی، روابط کالمی ، تشابه معنایی، شبکه واژگان

ارزیابی سیستماتیک متون دانشجویان در کلاس های مجازی آنالین

چکیده :

عدم تعامالت و ارتباطات مستقیم اساتید و دانشجویان منجر به عدم تمرکز ایشان در کالس های مجازی می شود . از آنجا که ارزیابی همواره ابزار مناسبی برای ایجاد تمرکز و مشارکت دانشجویان بوده است منطقی است که به دنبال ابزاری جهت برآورد میزان مشارکت دانشجویان در کالس های آنالین باشیم . در این مقاله سعی داریم با استفاده از روش های متن کاوی ، پردازش زبان طبیعی و ترجمه ماشینی به الگوریتمی جهت ارزیابی متون وارد شده از سوی دانشجویان و تخصیص امتیاز به هر متن دست یابیم و بتوانیم پس از پایان کالس با محاسبه ، ثبت و اعالم برآورد امتیازات هر دانشجو به یک ارزیابی از میزان مشارکت مفید دانشجو در کالس های آنالین دست یابیم .

واژه های کلیدی متن کاوی ، پردازش زبان طبیعی ، ترجمه ماشینی ، پایگاه داده ها

ایجاد و انتشار زیر ساخت وب معنایی برای قرآن کریم

چکیده:

شده است. تبدیل شناسی کامپیوتر و زبان حوزهو پژوهشگران محققان اساسی های یکی از دغدغهبه های اخیر در سال ایرایانهشناسی زبان یبا سرعت و دقت قابل توجه متن راپردازش که بتوان بسیاری از کارهای مرتبط با ستا و ابزارهای هوشمند باعث شده رایانهاستفاده از های پیکره پردازد. زبان می هایابزاری برای بیان ویژگیبه عنوان ی متن یهایکرهدر حوزه متن به پردازش پ یعیانجام داد. پردازش زبان طب واعد و ساز و کار زبان پی توان با تحلیل آنها به استخراج اجزا، قمتنی در واقع نمادی از زبان هستند که با هدف خاصی تولید گردیده، می ینا یمحتوا یرا در ارائه یمناسب یپژوهش یط، محیایانهرا هاییفناور یریمتون و با بکارگ یسازیو غن یفرآور بادر مرحله بعد، برد و .نمود یجادکارآمد ا یامتون به گونه ی و زیرساختی که تحت عنوان پیکرهپیکره متنی "فرقان" ای هوشـمند گیـری از سـامانه حاصـل بهـره د گردیده، تولیقرآن کریم برای ی اطلاعات قرآنی، آماری، متن و ترجمـه فارسـی و انگلیسـی آیـات و برچسـب کلیهحاوی مگابایت داده، 587 .این پیکره با بیش از است - و بسـیاری مـوارد دیگـر در قالـب ایابی کلمات آنهمتن عربی، فارسی و انگلیسی آیات، ریشهصرفی و نحوی گذاری RDF امکـان و سـت ا .استفاده و کاوش را برای هرگونه پژوهش و پردازش هوشمند ایجاد کرده است

کلید واژه پردازش زبان طبیعی، پیکره، وب معنایی، قرآن کریم، RDF.

نگرشی جدید به تحلیل عبارت های اسمی هم مرجع

چکیده:

پردازش زبان طبیعی شامل وظایفی همچون استخراج اطلاعات، خلاصه سازی متن، پرسش و پاسخ می باشد که همگی نیاز دارند تا تمام اطلاعاتی که در مورد یک موجودیت در متن وجود دارد را شناسایی نمایند. بنابراین وجود سیستمی که بتواند موضوع تحلیل عبارت های اسمی هم مرجع را بررسی نماید، کمک شایانی به انجام موفقیت آمیز این وظایف خواهد نمود. ما در این مقاله، سعی داریم تا به طور دقیق، فرآیند تحلیل مرجع مشترک را بررسی نمائیم. در همین راستا نیز فرآیند مشابه دیگری تحت عنوان تحلیل پیشایند را نیز مطالعه خواهیم نمود. امید داریم تا با بررسی این فرآیند و مقایسه ی شباهت ها و تفاوت های آنها، به نگرشی جدید در مورد تحلیل عبارت های اسمی هم مرجع برسیم.

کلمات کلیدی :پردازش زبان طبیعی، استخراج اطلاعات، تحلیل مرجع مشترک ، تحلیل پیشایند

تعیین احساس از روی متن فارسی

چکیده:

در بسیاری از کاربردهای تبدیل متن به گفتار بهتر است تا مشخصات گفتار تولید شده هرچه بیشتر شبیه به انسان باشد. برای این کار باید متنی که توسط سیستم ادا میشود، از لحاظ معنایی بررسی شود. یکی از مهمترین این ویژگیهای معنایی، احساس حاکم بر متن است. در زمینه تعیین احساس از روی متن، کارهای مختلفی در زبان انگلیسی صورت گرفته است؛ اما کمتر کسی اقدام به کار بر روی پیکرههای فارسی کرده است. در این مقاله، پیکره ای شامل 3702 جمله از 6 کلاس احساس خوشحالی، عصبانیت، خنثی، ناراحتی، تنفر و ترس تهیه شده است و روشهای گوناگونی جهت تعیین احساس از روی یک جمله متنی به زبان فارسی به کار گرفته شده است. با بررسی نتایج بدست آمده متوجه میشویم که عملکرد برنامه در صورت استفاده از رویکرد مبتنی بر پیکره مطلوب است و دارای حداکثر دقت 85/78 %و زمان بسیار کوتاه آموزش میباشد.

واژههای کلیدی: پردازش زبان طبیعی، مدل زبانی، تحلیل معنایی، یادگیری ماشین، Bayes Naïve Complement

پروپوزال نظرکاوی یا احساس کاوی

اختصاصی از اس فایل پروپوزال نظرکاوی یا احساس کاوی دانلود با لینک مستقیم و پر سرعت .

پاورپوینت سیستم های متن کاوی

اختصاصی از اس فایل پاورپوینت سیستم های متن کاوی دانلود با لینک مستقیم و پر سرعت .

پاوری در مورد متن کاوی و توضیحات، کاربرد و نحوه عملکرد آن در دنیای امروز

متن کاوی = کشف دانش از داده ها متنی = متن داده کاوی

عبارتست از کشف اطلاعات جدید و ناشناخته با استخراج اتوماتیک اطلاعات از منابع داده های متنی غیر ساختیافته بوسیله کامپیوتر

ابزارهای لازم برای پردازش متن در زبان فارسی

اختصاصی از اس فایل ابزارهای لازم برای پردازش متن در زبان فارسی دانلود با لینک مستقیم و پر سرعت .

ابزارهای لازم برای پردازش متن در زبان فارسی

تشخیص دهنده ی جمله: این ابزار باید با توجه به کاراکترهای جداکننده ی جمله در زبان فارسی، توانایی تشخیص جملات را در متن ورودی داشته باشد. برای ایجاد این ابزار باید ابتدا تمامی کاراکترها، نماد ها و احیاناً قواعد دستوری که باعث شکسته شدن جملات می شوند، شناسایی گردند. با توجه به پایه بودن جمله در بسیاری از پردازش های زبانی، خروجی دقیق این ابزار از درجه ی اهمیت بالایی برخوردار است. از نمونه های انگلیسی آن می توان به OpenNLP، Stanford NLP، NLTK و Freeling اشاره کرد.

Tokenizer: ابزاری برای شکستن یک متن بر اساس واحدهای با معنی مانند کلمه، پاراگراف، نمادهای معنادار مانند space و  tab و … . لازمه ی ایجاد این ابزار جمع آوری واحد هایی است که در زبان فارسی به عنوان واحد های مستقل معنایی شناخته می شوند. سپس بر اساس انتخاب هر کدام از این واحدها متن بر اساس آن شکسته خواهد شد. از نمونه های انگلیسی آن می توان به Flex، JLex، JFLex، ANTLR، Ragel و Quex اشاره کرد.

Named entity recognition: ابزاری برای تشخیص اسامی و نوع آنها اعم از اسامی افراد، اماکن، مقادیر عددی و … . برای تشخیص اینکه یک کلمه اسم است، راه های مختلفی وجود دارد که از جمله ی آنها مراجعه به لغتنامه، مراجعه به word-net، در نظر گرفتن ریشه ی کلمه، استفاده از قواعد نحوی ساخت واژه و … می باشد. در این ابزار پس از تشخیص اسم ها با استفاده یک لغتنامه از اسامی افراد، مکان ها، مقادیر عددی و … نوع اسم تشخیص داده می شود. به نظر می رسد که این لغتنامه در فارسی موجود نمی باشد.

از جمله نمونه های انگلیسی این ابزار می توان به Stanford NER و Illinois NER اشاره کرد.

Word-net: مجموعه ای از لغات و ارتباط میان آنها به لحاظ معنایی. ارتباطات معنایی در داخل این مجموعه شامل ۱۶  رابطه  می باشد. این مجموعه به عنوان یک مرجع در بسیاری از پردازش های زبانی مورد استفاده قرار می گیرد. ار نمونه های انگلیسی آن می توان به Princeton Wordnet و EuroWordnet اشاره کرد. آزمایشگاه فناوری وب دانشگاه فردوسی مشهد نیز یک نمونه از این مجموعه با نام فردوس نت را تولید کرده است.

Stemmer: ابزاری برای ریشه یابی لغات و تشخیص نوع کلمه ساخته شده از آن ریشه (اسم مکان، اسم زمان، حالت فاعلی، مفعولی و …). معمولاً ریشه یابی لغات بر اساس قواعد ساخت واژه ای و سپس حذف پسوندها می باشد. تاکنون روش مؤثری برای حذف پیشوندها ارائه نشده است. در تلاشی که در آزمایشگاه فناوری وب انجام شده است، سعی شده تا بر اساس آنالیزهای آماری و داده کاوی پسوندها حذف گردند، که این روش هم می تواند راهی برای تشخیص ریشه باشد.

معروفترین الگوریتم ریشه یابی در انگلیسی porter می باشد.

Similarity recognition: ابزاری برای تشخیص میزان شباهت میان دو عبارت بر اساس پارامترهای مختلف مانند نوع اسامی مشابه به کار رفته، استفاده از word-net و… . در این ابزار پس از تشخیص نوع کلمات به کار رفته در یک جمله و سپس بر اساس جایگاه آن کلمات در جمله، کلماتی که در جایگاه های یکسان قرار دارند، مورد مقایسه قرار می گیرند. از نمونه های انگلیسی آن می توان به Illinois NESim و Illinois WNSim اشاره نمود.

Chunker: ابزاری برای تشخیص گروه های اسمی، فعلی و …. در یک جمله. جهت تقویت الگوریتم های وابسته به SRL لازم است نه تنها نقش های کلمات مشخص گردند، بلکه باید وابستگی های کلمات به لحاظ نقشی در جمله مشخص گردند. از جمله نمونه های انگلیسی آن می توان به Illinois Chunker  اشاره کرد.

Semantic role labeler: ابزاری برای تشخیص نقش گرامری کلمه در جمله. این ابزار یکی از مهمترین نقش ها را در پردازش های زبانی بر عهده دارد. دقت در این ابزار بسیار حائز اهمیت است. این ابزار باید نقش های گرامری کلمات در جمله ها مانند فعل، فاعل، مفعول مستقیم، مفعول غیر مستقیم و …. را تشخیص دهد. از جمله نمونه های انگلیسی آن می توان به OpenNlP، Illinois SRL، Swirl و LTHSRL  اشاره کرد. این ابزارها از الگوریتم پارسینگ charniak استفاده می کنند.

Annotator: ابزاری برای ایجاد یک نمونه از یک آنتولوژی در یک سند داده شده. از ابزارهای موجود در انگلیسی می توان به Illinois Curator و Stanford Annotator اشاره کرد.

Coreference resolution: ابزاری برای تعیین مرجع اسمی یک اسم یا یک ضمیر در جملات. این ابزار در زبان انگلیسی معادل ابزاری است که مرجع ضمیر را که به صورت اسم در جمله های قبلی آمده است، مشخص می کند. استفاده از ضمایر به جای اسامی در زبان انگلیسی بسیر رایج می باشد. اما در زبان فارسی این امر چندان رایج نیست. اما در زبان فارسی عنوان یک مفهوم اسمی با اصطلاحات مختلف بسیار رایج می باشد. عملاً ما به دنبال ابزاری هستیم که مرجع خاص یک سری از عنوان ها ی مختلف اسمی را مشخص کند. از نمونه های انگلیسی این ابزار می توان به Illinois Coreference package  اشاره کرد.

Pos tagger: ابزاری برای مشخص کردن نوع کلمات از قبیل اسم، صفت، قید، فعل و … . یکی از روش های کاری برای ایجاد این ابزار، ایجاد یک rule base که معمولاً به صورت دستی تشکلیل می شود، برای تشخیص نوع کلمه است. از نونه های فارسی آن می توان به ابزار آزمایشگاه آقای دکتر بیجن خان، و ابزار آزمایشگاه فناوری وب دانشگاه فردوسی مشهد اشاره کرد. از نمونه های انگلیسی آن می توان به Illinois Part Of Speech Tagger و Stanford POS Tagger اشاره کرد.

————————————————————————-

نرمالسازی متن

در ابتدا بایستی همه‌ی نویسه‌های (کاراکترهای) متن با جایگزینی با معادل استاندارد آن، یکسان‌سازی گردند. در اولین گام باید متون برای استفاده در گام‌های بعدی به شکلی استاندارد درآیند. از آنجایی که متون مختلف ممکن است بسیار به هم شبیه باشند اما به دلیل تفاوت‌های ساده ظاهری از نظر ماشین متفاوت باشند؛ به همین دلیل سعی شده است این تفاوت­های ساده‌ی ظاهری برطرف گردد. همچنین اصلاحات دیگری نیز به منظور پردازش دقیق­تر متون در این مرحله صورت می­گیرد.

در اولین گام باید متون برای استفاده در گام­های بعدی به شکلی استاندارد درآیند. از آنجایی که متون مختلف ممکن است بسیار به هم شبیه باشند اما به دلیل تفاوت‌های ساده ظاهری از نظرماشین متفاوت باشند؛ به همین دلیل سعی شده است این تفاوت‌های ساده­ی ظاهری برطرف گردد. برای رسیدن به این هدف، قبل از مقایسه متون، پیش‌پردازش‌هایی روی آنها آنجام می‌شود. طبیعتا هر چه این پیش‌پردازش‌ها قوی‌تر باشد، نتایج حاصل ازمقایسه متون قابل اطمینان­تر خواهد بود. لازم به ذکر است که از آن جایی که زبان فارسی جزو زبان‌های غیر ساختیافته است با مشکلات بسیار بیشتری نسبت به سایر زبان‌ها مواجه خواهیم شد. متون غیرساخت‌یافته، متونی هستند که پیش فرض خاصی در مورد قالب آنها نداریم و آنها را به صورت مجموعه‌ای مرتب از جملات در نظر می‌گیریم.

در ابتدا بایستی همه­ی نویسه‌های (کاراکترهای) متن با جایگزینی با معادل استاندارد آن یکسان­سازی گردند. در پردازش رسم الخط زبان فارسی، با توجه به قرابتی که با رسم الخط عربی دارد، همواره در تعدادی از حرف­ها مشکل وجود دارد که از جمله آن­ها می­توان به حروف “ک”، “ی”، همزه و … اشاره نمود. در اولین گام باید مشکلات مربوط به این حروف را برطرف ساخت. علاوه بر این، اصلاح و یکسان سازی نویسه‌ی نیم‌فاصله و فاصله در کاربردهای مختلف آن و همچنین حذف نویسه­ی «ـ» که برای کشش نویسه­های چسبان مورد استفاده قرار می­گیرد و مواردی مشابه برای یکسان­سازی متون، از اقدامات لازم قبل از شروع فاز‌های مختلف می­باشد. در این فاز مطابق با یک سری قاعده دقیق و مشخص، فاصله­ها و نیم­فاصله­های موجود در متن برای علاماتی نظیر “ها” و “ی” غیرچسبان در انتهای لغات و همچنین پیشوندها و پسوندهای فعل­ساز نظیر “می”، “ام”، “ایم”، “اید” و موارد مشابه جهت استفاده در فازهای بعدی، اصلاح می­گردند. در ادامه به چند نمونه از این اصلاحات، اشاره شده است.

با استفاده از این ویژگی نرم‌افزار می‌توان همه­ی نویسه‌های (کاراکترهای) متن را استاندارد نمود. اگر نویسه‌ی غیر استانداردی یافت شد، با معادل استاندارد آن جایگزین می‌شود. برخی از این اصلاحات در ذیل آورده شده است:

• اصلاح انواع حرف «ک» به معادل فارسی آنان.
• اصلاح انواع حرف «ی» به معادل فارسی آنان.
• بررسی همزه و انواع مختلف املاهای موجود و اصلاح هر کدام (به عنوان مثال تبدیل ؤ به و ، ئ به ی ، أ به ا ، إ به ا و…)
• حذف شناسه‌ی همزه از انتهای واژه‌هایی مثل شهداء
• حذف شناسه «آ» به «ا» مانند: آب به اب
• اصلاح نویسه‌ی «طور» در واژه‌هایی مانند به طور، آن طور، این طور و …
• بررسی وجود حرف «ی» در انتهای لغاتی مانند خانه‌ی ما و اصلاح آنان
• حذف تشدید از واژه‌ها
• تبدیل ارقام عربی و انگلیسی به معادل فارسی.
• اصلاح نویسه‌ی نیم‌فاصله
• اصلاح اعراب و حذف فتحه، کسره و ضمه و همچنین تنوین‌ها
• حذف نیم‌فاصله‌های تکراری
• حذف نویسه‌ی «ـ» که برای کشش نویسه­های چسبان مورد استفاده قرار می­گیرد. مانند تبدیل«بــــــــر» و «بـــر» به «بر»
• چسباندن پسوندهای «تر»، «ترین» و … به آخر واژه‌ها
• اصلاح فاصله‌گذاری «ها» در انتهای واژه‌ها و همچنین پسوندهای «های»، «هایی»، «هایم»، «هایت»، «هایش» و …
• اصلاح فاصله‌گذاری «می»، «نمی»، «درمی»، «برمی»، «بی» در ابتدای واژه‌ها
• تبدیل «‍ة» به «‍ه‌ی»
• تبدیل «ب» متصل به ابتدای واژه‌ها به «به»
• اصلاح فاصله‌گذاری پسوندها
• حذف فاصله‌ها و نیم‌فاصله‌های اضافه بکار رفته در متن
• تصحیح فاصله‌گذاری در مورد علائم سجاوندی بدین صورت که علائم سجاوندی به لغات قبل از خود می‌چسبند و با لغت بعد از خود فاصله خواهند داشت.

برای اعمال اصلاحات اولیه قبل از هر عملیاتی، بایستی متون مورد پردازش توسط ابزار Normalizer طراحی شده، مورد اصلاح قرار گیرند.

——————————————————————–

ریشه‌یابی معنایی در زبان فارسی

هدف از انجام  پروژه ریشه یابی معنایی در زبان فارسی، جداسازی کلمات از متن و بازگرداندن کلمات به ریشه اصلی تشکیل دهنده آنهاست. تفاوت اصلی این پروژه با سایر پژوهش‌های انجام شده در زمینه ریشه‌یابی، قابلیت بازگرداندن کلمات به ریشه بدون از بین رفتن معنای آنها در جمله می‌باشد. بدین منظور به نقش کلمات در جمله توجه ویژه‌ای شده است. در این طرح از مجموعه افعال گرداوری شده توسط گروه دادگان و لغات پرکاربرد پیکره همشهری استفاده شده است.

 ——————————————————————– 

برچسب گذار نقش کلمات فارسی

برچسب گذاری اجزای واژگانی کلام (Part of Speech tagging) عمل انتساب برچسب های واژگانی به کلمات و نشانه های تشکیل دهنده یک متن است؛ به صورتی که این برچسب ها نشان دهنده نقش کلمات و نشانه ها در جمله باشد. درصد بالایی از کلمات از نقطه نظر برچسب واژگانی دارای ابهام هستند، زیرا کلمات در جایگاههای مختلف برچسب های واژگنی متفاوتی دارند. بنابراین برچسب گذاری واژگانی عمل ابهام زدایی از برچسب ها با توجه به زمینه (متن) مورد نظر است. برچسب گذاری واژگانی عملی اساسی برای بسیاری از حوزه های دیگر پردازش زبان طبیعی(NLP) از قبیل ترجمه ماشینی، خطایاب و تبدیل متن به گفتار می باشد. تا کنون مدل ها و روش های زیادی برای برچسب گذاری در زبان های مختلف استفاده شده است. بعضی از این روش ها عبارتند از:

•   مدل مخفی مارکوف (Markov Hidden Model)
•   برچسب گذاری مبتنی بر تبدیل یا قانون (Transformation/Rule -based tagger)
•   سیستم های مبتنی بر حافظه (Memory-basedSystem
•   سیستم های ماکزیمم آنتروپی (Maximum Entropy System)

——————————————————————–

پارسر زبان فارسی

به موازات پیشرفت و تحولات نظری در زبان‌شناسی جدید، روش‌های تحلیل متون و دستورات زبان بوسیلهی رایانه نیز تحول یافته است. منظور از گرامر هر زبان، در دست داشتن یک سری دستورات زبانی قابل فهم برای رایانه است که به کمک آنها بتوان اجزای نحوی یک جمله را به طور صحیح تفکیک نمود. تجزیه و تحلیل جمله و شکستن آن به اجزای تشکیل دهنده مانند گروه های اسمی، فعلی، قیدی و غیره توسط ابزاری به نام پارسر صورت می گیرد که نقش اساسی در طراحی و یا افزایش دقت سایر ابزارهای پردازش متن دارد.

پارسر طراحی شده برای زبان فارسی در این پروژه، از ساختار لغات، موقعیت و ترتیب لغات در جمله، حروف یا عبارات قبل و بعد از آنها و نوع لغات، درخت نحوی یا پارسینگ را برای جملات متن تشکیل می دهد. در واقع عملیات پارسینگ با توجه به ریختشناسی (مطالعه ساختار و حالتهای مختلف یک کلمه) و همچنین دستورات نحوی گرامر زبان فارسی صورت میگیرد. بدیهی است هر چقدر نگارش بکار رفته در جملات و همچنین رعایت علائم سجاوندی طبق اصول و با دقت بیشتری صورت گرفته باشد، عملیات پارسینگ با کیفیت بهتری صورت خواهد گرفت و اجزای تشکیل دهنده ی جمله با عملیات کمتر و ساده تری برچسب زده خواهند شد.

یک فایل فشرده حاوی  فایل EXE (شامل ابزارهای پیش پردازش متون زبان فارسی : نرمالسازی – ریشه یابی – برچسب زنی نحوی – پارسر )

کد سی شارپ همراه با کتابخانه های مورد نیاز جهت ریشه یابی کلمات فارسی:

در این نمونه کد، که به زبان سی شارپ نوشته شده است، کتابخانه های لازم برای استفاده از کد ریشه یاب زبان فارسی که در آزمایشگاه فناوری وب دانشگاه فردوسی مشهد تولید شده است، به کد اضافه شده و چگونگی استفاده از این کتابخانه ها در کد مشخص است و در قالب ابزاری جهت دادن ورودی و مشاهده خروجی آماده شده است.

در کد موجود در فایل ضمیمه سه کتابخانه (فایل dll) اضافه شده اند که امکان شناسایی افعال و ریشه یابی کلمات را فراهم می آورند…

برای استفاده از نرم افزار در صورت اجرا نشدم برنامه در فایل EXE، ابتدا بسته نرم افزاری دات نت فریمورک ۴.۵ را نصب نمایید.