Lucia Larise Stavarache
email: larise.stavarache@ro.ibm.com

Mihai Dascalu
email: mihai.dascalu@cs.pub.ro

Stefan Trausan-Matu
email: stefan.trausan@cs.pub.ro

Philippe Dessus
email: philippe.dessus@upmf-grenoble.fr

Analiza

Stefan Trausan- Matu

Analiza complexităţii manualelor şcolare din sistemul de învăţământ francez primar

Keywords: analiza complexităţii textuale, metrici de complexitate, grupuri şi clase de concepte

à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Introducere

Fiecare act de comunicare trebuie să fie adaptat audienţei, iar mesajul trebuie să fie transmis corect şi coerent indiferent de complexitatea sa. Doar în acest mod mesajul va rezona cu auditoriul şi îşi va atinge scopul. Analiza complexităţii textelor presupune o arie vastă care înglobează numeroase domenii precum psihologia cognitivistă, tehnologia informaţiei din prisma metodelor automate de evaluare, precum şi tehnicile de comunicare formală şi informală aplicabile în vederea facilitării înţelegerii conţinutului transmis.

Având ca bază exemplele anterioare, putem afirma că analiza complexităţii textuale poate presupune inclusiv evaluarea nonsens-ului dacă ne raportăm la perioada dadaistă în care poezia reprezenta doar o înşiruire de cuvinte extrase aleator, pornind invers de la cuvânt către mesaj [START_REF] Ball | Flight Out Of Time[END_REF]. Chiar şi în acest context putem afirma că există grade de complexitate, deoarece cuvintele în sine au propriul lor grad de complexitate.

Scopul principal al unei comunicări scrise sau orale îl reprezintă transmiterea mesajului indiferent de situaţie, locaţie sau resurse. Lucrarea îşi propune analiza complexităţii textelor având ca referinţă următoarele criterii: calitate, cantitate, analiza dependenţei de context şi scop. Factorii utilizaţi pentru analiză sunt în general împărţiţi în metrici standard, respectiv metrici complexe [START_REF] Graesser | Coh-Metrix: Analysis of text on cohesion and language[END_REF]. Metricile standard sunt cele care se bazează pe valori numerice, care pot fi obţinute relativ simplu, fără să se ţină cont de context şi pe baza unor valori fixe care fundamentează ecartul de comparare. Metricile complexe nu sunt atât de precise întrucât acestea nu se raportează la cifre fixe, ci la indicatori, oferind astfel o abordare mai detaliată asupra analizei.

Astfel, în vederea evaluării gradului de înţelegere al unui text generic extras din manuale şcolare, tema lucrării nefiind cunoscută, lucrarea de faţă îşi propune sa fundamenteze o abordare complexă pentru calcularea complexităţii care să ofere o vedere mai clară asupra subiectului, raportându-se la context, locaţie şi potenţiala temă. Abordarea propusă pleacă de la definiţia de bază a discursului conform căreia un cuvânt este o combinaţie de consoane şi vocale care alăturate creează mesaje cu diferite înţelesuri.

Articolul continuă prin prezentarea unor abordări similare, analiza informaţiei extrasă din corpusul de manuale şcolare şi prin detalierea grupurilor extrase din Manulex [START_REF] Lété | Manulex: A grade-level lexical database from French elementary-school readers[END_REF] utilizate în evaluarea complexităţii textuale. În final sunt prezentate rezultate şi studii de caz, urmate de concluzii şi direcţii ulterioare de cercetare.

Abordări similare de evaluare a complexităţii textuale

Secţiunea de faţă îşi propune prezentarea a trei abordări diferite de evaluare a complexităţii textuale, fiecare axată pe o altă faţetă a problematicii. Totodată, abordarea noastră este axată pe determinarea diferitelor semnificaţii pentru aceeaşi expresie, în contexte diferite. Pentru a marca diferenţele drastice de percepţie care pot apărea apelăm la un exemplu clasic din programare care presupune folosirea sintagmei "Hello World!". Aceasta este în general utilizată pentru implementarea celui mai simplu program într-un limbaj de programare, aplicaţie care presupune tipărirea la consolă a mesajului anterior. Dacă am privi lucrurile din punctul de vedere al unei persoane care nu a avut nici o tangenţă cu lumea calculatoarelor, semnificaţia cuvintelor ar fi complet diferită, iar un răspuns complet diferit ar putea fi: "Hello to you too!". Diametral opus celor două exemple prezentate anterior este răspunsul unui analizor de text care oferă informaţii conform unor metrici prestabilite şi care nu ţine cont de context: " afirmaţie exclamativă, camel-case, afirmaţie exclamativă, nu există verbe, 1 substantiv, 1 adverb".

Evaluarea automată a eseurilor (AES -Automated Essay Scoring)

Conceptul din spatele evaluării automate a eseurilor [START_REF] Chodorow | Beyond essay length: Evaluating e-rater's performance on TOEFL essays[END_REF] se bazează pe funcţii aplicate pe un corpus de documente precum:

• numărul de cuvinte;

• numărul de propoziţii subordonate;

• numărul de propoziţii;

• numărul de fraze;

• media cuvintelor scrise cu literă mare/cuvinte scrise cu literă mică. Folosind aceşti indicatori se construieşte un model matematic care este ulterior aplicat şi eseurilor noi care intră în analiză. Această metodă devine tot mai utilizată în universităţii dar şi în alte instituţii precum examenul TOEFL. Evaluarea automată nu este lipsită de marjă de eroare, deoarece alegerea unei metode de rezolvare diferită faţă de cea standard a unui exerciţiu cu răspuns scris poate genera scoruri greşite.

De asemenea, dacă este impusă o limită minimă pentru lungimea unui eseu există posibilitatea ca un eseu mai scurt să primească o notă mai mică decât un eseu mai lung deşi conţinutul primului eseu este mai valoros. Eroarea este inevitabilă în aceste cazuri deoarece lungimea minimă a unui eseu este un indicator setat iniţial în analizor. Dacă în schimb tezele ar fi fost analizate de o comisie de profesori astfel de cazuri nu ar fi trebuit să apară.

Unul din cele mai cunoscute sisteme de evaluare automată care au la bază AES este "E-rater" [START_REF] Attali | Automated essay scoring with e-rater V.2.0[END_REF]. Acesta este un analizor automat folosit cu succes in cadrul GMAT -"Graduate Management Admission Test". Analizatorul are la bază principiile de analiză a limbajelor naturale dar ia în considerare pentru calcularea scorului şi următorii factori: analiza conţinutului din punct de vedere lexical, numărul de greşeli gramaticale, numărul de greşeli mecanice (greşeli datorate supraîncărcări sistemului), numărul de comentarii. E-rater are la bază un dicţionar de fraze, cuvinte stop (un set predefinit de cuvinte care este scos înainte de a începe procesarea şi analiza corpusului) şi un set de euristici pentru identificarea relaţiilor retorice bazate pe sintaxă şi distribuţie în paragraf cât şi pe reguli de analiză a structurii frazelor.

Rezultatele studiului realizat [START_REF] Powers | Stumping e-rater®: Challenging the validity of automated essay scoring[END_REF] au arătat că în anumite condiţii eseurile mai slabe pot obţine note bune. De asemenea gradul de interes al elevilor scădea la aflarea faptului că eseurile lor sunt corectate automat. Pentru a preveni aceste marje de eroare s-a decis folosirea E-rater împreună cu notarea clasica, mai ales pentru examenele de importanţă majoră.

Extragerea relaţiilor semantice

Adiţional sistemelor automate de notare există şi analizoare semantice [START_REF] Jurafsky | An introduction to natural language processing[END_REF][START_REF] Manning | Foundations of statistical Natural Language Processing[END_REF]. Ideea din spatele conceptului se bazează pe relaţiile semantice între substantive şi adjective cât şi pe verbele asociate lor. Setul de reguli folosit pentru determinarea complexităţii caută şabloane ("pattern matching") de secvenţe de cuvinte şi dependenţe gramaticale la nivel de propoziţie [START_REF] Gervasi | Quantitative assessment of textual complexity[END_REF]. Algoritmul din cadrul acestei abordări se bazează pe constrângerile gramaticale combinate cu regula drumului cel mai scurt obţinut folosind un graf orientat, după cum se poate vedea în figura 1.

Coh-Metrix

Coeziunea lingvistică (Halliday & Hasan, 1976, Tangkiengsirisin) este axată pe elementele constitutive ale discursului care îi conferă coerenţă din punct de vedere lexical, sintactic şi semantic. Metricile sistemului Coh-Metrix [START_REF] Graesser | Coh-Metrix: Analysis of text on cohesion and language[END_REF][START_REF] Mcnamara | Coh-Metrix: Capturing linguistic features of cohesion[END_REF] analizează textele din diverse perspective precum topică, gramatică, structură, poziţie sau vocabular. Scorul final este calculat în funcţie de scorul fiecărui factor de coeziune. Procentul fiecărui factor de coeziune din cadrul scorului final este asignat în funcţie de scopul şi contextul textului. Metricile sistemului Coh-Metrix sunt împărţite in două: referenţiale şi explicite [START_REF] Graesser | Coh-Metrix: Providing multilevel analyses of text characteristics[END_REF]. De exemplu, fragmentele de text care nu au multe conexiuni cu celelalte părţi ale textului adaugă un procent de complexitate scorului general, deoarece corelaţiile lor raportate la context nu pot fi extrase.

Pe lângă regulile prezentate mai sus, metricile sistemului iau în calcul şi metricile clasice de măsurare a complexităţii precum numărul de: cuvinte, substantive, adjective, lungimea frazei, lungimea textului. Printre formulele consacrate de evaluare a complexităţii textuale se numără:

1. Flesch Reading Ease [START_REF] Flesch | A new readability yardstick[END_REF]:

206.835-(1.015× ASL)-(86.4 × ASW)
• ASL = media lungimii propoziţiei (numărul de cuvinte/numărul de propoziţii); • ASW = media numărului de silabe per cuvânt.

2. Flesch-Kincaid Grade Level [START_REF] Kincaid | Derivation of New Readability Formulas: (automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel[END_REF]): (0.39 × ASL) + (11.8 × ASW ) -15.59 , unde ASL şi ASW au semnificaţiile anterioare.

Analiză comparativă

Din punct de vedere al diferenţelor între articolul de faţă versus tehnicile şi metodologiile deja existente, următorii factori cheie ies in evidenţă:

• Scopul lucrării este de a implementa un criteriu cantitativ de clasificare şi ordonare a lucrărilor, nu de a evalua o formula standard a complexităţii, în opoziţie cu lucrările prezentate mai sus care îşi propun să realizeze o predicţie cât mai precisă a complexităţii; • Lucrarea de faţă se axează pe analiza complexităţii manualelor şcolare franceze, domeniu neacoperit de către analizoarele prezentate anterior, atât din punctul de vedere al metricilor pentru limba franceză, cât şi a specificităţii domeniului; • Contextul este un factor cheie în jurul căreia abordarea propusă gravitează, iar fiecare factor rezultat din metricile implementate este analizat în funcţie de context, ceea ce în abordările anterioare nu reprezintă un punct de interes predominant; • Scopul articolului nu presupune notarea manualelor şcolare franceze, ci de a identifica elementele care pot afecta negativ înţelegerea mesajului şi asimilarea conţinutului precum: prezenţa unui capitol în manual de complexitate mult mai mare decât complexitatea manualului, care poate duce la asimilarea incorectă a informaţiei, pierderea interesului auditoriului sau confundarea informaţiilor.

Corpusul aferent limbii franceze

Pentru a defini un context coerent al abordării considerăm oportună definirea unui set de prezumţii şi constrângeri. Astfel, raportat la specificitatea analizei, se presupune că toată informaţia primită este corectă din punct de vedere gramatical, cât şi din punctul de vedere al sensului conţinutului. Totodată, euristicele folosite în determinarea complexităţii exclud textele incomplete, caracterele speciale şi imaginile. Totuşi, evaluarea în sine a complexităţii textuale ia în considerare toate cele trei categorii menţionate anterior bazându-se pe metrici adaptate la nivelul contextului analizei. Pentru a putea fi analizate, textele sunt împărţite în fragmente. Un fragment conţine unul sau mai multe paragrafe. Fiecare fragment tratat individual are mesaj coerent. Un fragment poate să reprezinte: un capitol, o definiţie, o poveste, o bucată relevantă de informaţie care conţine un mesaj şi poate fi clar identificată. Peste 40 de manuale au fost luate în considerare şi analizate pentru a determina factori care influenţează cel mai mult complexitatea în cadrul textelor şcolare din sistemul francez de învăţământ.

Textele şcolare sunt grupate în funcţie de vârstă şi clasă conform tabelului 1. În total au rezultat peste 1.000 de fragmente din procesarea manualelor şcolare, cu o medie de 200 de fragmente per manual. Media numărului de cuvinte rezultat ~100.000. La finalul analizei putem să avem de exemplu pentru un text de complexitate redusă precum un manual din ciclul primar, 60% din cuvinte aparţinând grupului G 1 , 30% din cuvinte aparţinând grupului G 2 şi 10% din cuvinte aparţinând grupului G 3 . Având o distribuţie macro a complexităţii textului analizat putem determina uşor dacă un manual este corespunzător categoriei de vârstă în care este încadrat cel puţin ca o concluzie primară a analizei.

Distribuţia paragrafelor în grupuri de complexitate

După cum s-a precizat în paragraful anterior, analiza complexităţii globale folosind doar euristici simple nu este foarte precisă. Un exemplu elocvent ar fi capitolele din manuale care conţin informaţie care depăşeşte nivelul de înţelegere al clasei de studiu căreia i se adresează. Astfel de capitole sau pasaje de informaţie al căror nivel de complexitate este mai ridicat decât nivelul de înţelegere al studenţilor pot cauza o discontinuitate a informaţiei şi o diminuare a interesului faţă de domeniu. Pentru a determina pasajele cu grad de dificultate peste media conţinutului se va analiza distribuţia în grupuri de complexitate per paragraf. Prin urmare, un paragraf al cărui grup de complexitate primar este G 3 va fi greu de asimilat într-un text cu grup primar de complexitate G 1 .

Totodată analiza la nivel de paragraf oferă o viziune mai detaliată asupra structurii textului, putând determina semantica, dinamica şi structura frazelor pentru diferite paragrafe aparţinând unor grupuri de complexitate diferite. Trecerea de la analiza complexităţii la nivel de text către analiza complexităţii la nivel de paragraf reprezintă un prim pas între trecerea de la analiza macro către analiza micro.

Variaţia grupurilor de complexitate induse de o variabilă auxiliară

Introducerea unei variabile auxiliare reprezintă o formă de a determina elementele care influenţează major complexitatea textuală. Astfel putem considera variabila auxiliară ca fiind un delimitator, respectiv complexitatea textului este calculată după ce s-au eliminat cuvintele de lungime mai mică sau mai mare ca variabilă auxiliară. Un alt mod de a folosi o variabilă auxiliară este de a considera că variabila reprezintă o unitate gramaticală respectiv: verb, substantiv, adjectiv, pronume ş.a.m.d. Eliminând pe rând unităţile gramaticale putem determina unitatea care influenţează cel mai mult complexitatea.

Un alt aspect care poate fi determinat folosind cele două modalităţi prezentate este determinarea dinamicii textului. Astfel putem calcula dinamica unui text combinând următoarele metrici: numărul de verbe din text, distribuţia textului în grupuri de complexitate eliminând verbele şi distribuţia textului în grupuri de complexitate eliminând cuvintele cu o lungime mai mică de un număr predefinit de caractere. Eliminarea verbelor are ca scop încadrarea textului în cele trei categorii: monolog, dialog, "dialog monologat" şi determinarea unor metrici de diferenţiere între cele 3 categorii utilizând frecvenţa cuvintelor şi impactul complexităţii verbelor.

Eliminarea minimului şi a maximului

Doi alţi indicatori de complexitate reprezintă minimul şi maximul cuvintelor din punct de vedere al lungimii. Eliminarea minimului reprezintă scoaterea cuvintelor de legătură dintr-un text. Un astfel de procedeu afectează în proporţie foarte mică complexitatea generală deoarece cuvintele cheie care formează contextul rămân. Eliminarea maximului are rezultate mult mai spectaculoase dacă textul nu are cuvinte maximale izolate. Un cuvânt maximal izolat reprezintă un cuvânt foarte lung cu o frecvenţă generală foarte mică care nu influenţează complexitatea generală. Dacă în schimb exista un procent de cel puţin 3-5% cuvinte maximale, influenţa asupra complexităţii este majoră. Un alt efect major asupra textului în cazul în care maximul nu este izolat reprezintă pierderea contextului odată ce este eliminat.

Indicii de frecvenţă F, D, U şi SFI

Variaţia celor 4 indici U, F, D şi SFI introduce metrici şi indicatori noi pentru analiza complexităţii din punct de vedere cantitativ. Astfel un factor F cu valoarea de 90 are o frecvenţă de apariţie de 1 la 10 cuvinte. Dacă combinăm cei 4 indicatori cu regulile de determinare a complexităţii grupurilor poate fi făcută o a doua observaţie. Dacă cuvântul al cărui factor F de valoare 90 aparţine grupului G 1 , complexitate redusă putem afirma că complexitatea sa este redusă. Dacă în schimb cuvântul aparţine grupurilor G 3 -G 5 de exemplu "mitocondrii" atunci frecvenţa sporită nu reduce complexitatea textului, chiar o măreşte în majoritatea cazurilor în care audienţa nu are cunoştinţe despre context şi domeniul de referinţă al textului.

• F este singurul indice care nu depinde de ceilalţi 3, reprezentând frecvenţa generală a unui cuvânt. F este folosit pentru determinarea raportului între frecvenţa cuvântului şi distribuţia sa în grupuri. Astfel în propoziţia "Cuvintele sunt elementele componente ale unei propoziţii. Propoziţiile sunt elementele componente ale unei fraze." F are următoarele valori:

• Cuvintele, fraze, propoziţii, propoziţiile => F=1

• Elementele, componente, ale, unei, sunt => F=2 • D este dependent de F şi reprezintă dispersia:

( ) [ ] ) log( / / ) log( ) log( n p p p p D j i i i ∑ ∑ ∑ × - = ;
• n = numărul de manuale din corpusul Manulex respectiv 54;

• i = numărul manualului din grup;

• p este raportat la i şi reprezintă frecvenţa cuvântului în carte.

După cum putem observa în formulă, D ia valori în intervalul [0; 1]. Valoarea minimă este obţinută când cuvântul aparţine unui singur grup, iar cea maximă apare atunci când cuvântul se regăseşte în toate grupurile.

• U reprezintă frecvenţa raportată la 1 milion de cuvinte -convergenţa U este considerată optimă pentru 1 milion de cuvinte:

[ ] min ) 1 ( ) / 000 . 000 . 1 ( f D FD n U × - - × = ;
• N = numărul de cuvinte;

• FD = frecvenţa şi dispersia;

• f min = suma produselor f i şi s i împărţită la N.

• f i =frecvenţa cuvântului în carte

• s i = numărul de cuvinte din carte când D=1, U este calculat din exact 1 milion e cuvinte; • SFI reprezintă indicele standard de frecvenţă şi depinde de ceilalţi 3 factori.

SFI = 10 × log 10 (U) + 4 [ ] .
Un cuvânt cu SFI = 90 are o frecvenţă de 1/10 cuvinte. O frecvenţă mare nu reprezintă şi o complexitate redusă întotdeauna, deoarece cuvântul în cauză poate sa fie foarte specific unui anumit domeniu iar înţelegerea poate să fie dificilă pentru 80% din auditoriu.

Imagini

Precum a fost specificat în prealabil, textele incomplete, caracterele speciale şi imaginile au fost eliminate la analiza iniţială a calculului de complexitate textuală. Analiza aportului imaginilor în calculul complexităţii a fost introdusă ulterior pentru a putea obţine rezultate amănunţite în ce priveşte articolele de complexitate similară, adresate aceleiaşi clase primare.

Imaginile ajută la înţelegerea mai rapidă a textelor, deoarece conţinutul este asociat cu elemente vizuale. În cazul elevilor din clasele primare imaginile reprezintă un element foarte important de asimilare şi de reţinere a mesajului. Simultan, în cazul elevilor din ciclurile superioare scade nevoia de a asocia elementele în raport cu conţinutul textului. Drept comparaţie între cele doua cicluri putem afirma următoarele:

• în cazul elevilor din ciclurile primare plictiseala se poate instala în momentul neînţelegeri fragmentelor întrucât bagajul de cunoştinţe este în formare, iar nevoia de asociere cu elemente cunoscute este mai pregnantă [START_REF] Macri | Dezvoltarea competenţelor de citit-scris în ciclul primar prin utilizarea strategiilor semi-globale în cadrul proiectelor tematice University Babeş-Bolyai[END_REF]); • în cazul elevilor din ciclurile superioare interesul se poate diminua mult în cazul în care sunt multe imagini, deoarece se creează senzaţia de uşurinţă, iar concentrarea scade; Aportul adus de existenţa imaginilor sau de lipsa lor din informaţia analizată se calculează conform următoarelor criterii:

• Aportul numărului de imagini este direct proporţional cu lungimea şi grupul de complexitate al fragmentului. Proporţia a fost calculată per fragment în parte (definiţia fragmentului poate fi regăsită mai sus); o f i -numărul imaginilor în fragmentul i; o Lf i -numărul de cuvinte din fragmentul i; o Restricţie: se consideră imagine asociată unui fragment, imaginea situată la începutul fragmentului sau în interiorul acestuia. De asemenea, pentru a fi considerat relevant, un fragment trebuie să conţină minim două propoziţii; o Restricţie: fragmentele trebuie să aparţină aceluiaşi grup de complexitate. Astfel, dacă avem un manual cu 12 fragmente distribuite după cum urmează: 6 -G 1 , 4 -G 2 , 2 -G 3 vor rezulta distribuţii pe fiecare grup în parte; • Euristica folosită: o G -reprezintă grupul de complexitate (G 1 , G 2 , G 3 -G 5 ) Coeficienţii de complexitate obţinute sunt rafinate ulterior pentru a putea observa diferenţele între două manuale aparţinând aceleiaşi clase primare care au fost încadrate iniţial în aceeaşi categorie de complexitate.

Astfel, drept exemplu prezentăm următorul scenariu în cadrul căruia considerăm două manuale adresate claselor primare CM2 cu următoarea distribuţie de complexitate: manualul 1 (G 1 -60%, G 2 -28%, G 3 -12%), respectiv manualul 2 (G 1 -60%, G 2 -28%, G 3 -12%). Având distribuţiile de mai sus este dificil să observăm o diferenţă clară de complexitate. În acest caz, analiza modificării coeficientului de complexitate în funcţie de numărul de imagini din fiecare manual se dovedeşte utilă: manualul 1 ( , ,

), respectiv manualul 2 ( , , ).

În această situaţia, noua distribuţie de complexitate devine: manualul 1 (G 1 -60%*0,98 = 57,60%, G 2 -28%*0,96 = 26,88%, G 3 -12%*0,94 =11,24%), manualul 2 (G 1 -60%*1,00 = 60,00%, G 2 -28%*1,00 = 28%, G 3 -12%*0,93 = 11,16%). Astfel, rezultatele anterioare sunt corelate cu observaţia că în al doilea manual nu regăsim imagini pentru fragmentele din grupurile de complexitate G 1 şi G 3 .

Rezultate

Validarea factorilor anteriori s-a realizat pe baza unui sub-corpus de 10 manuale aparţinând claselor primare CM2 -echivalentul clasei a patra din sistemul de învăţământ românesc, vârsta între 10-11 ani. O să numim grupul CM2 în analiza grafică de mai jos, cumulul de 10 manuale şcolare primare care fac parte din studiul de caz. Mediile prezentate în tabelul 4 au fost calculate în urma împărţirii cuvintelor în grupuri de complexitate şi făcând media indicatorului per grup. Întrucât fiecare indicator este raportat la împărţirea grupurilor în cuvinte şi complexitatea lor aferentă, procentele în sine nu sunt imbricate şi este normal ca suma lor să depăşească 100%.

Conform cu tabelul se pot observa diferite oscilaţii ale grupurilor G 1 , G 2 şi G 3 . Excluderea cuvintelor de legătura şi a pronumelor (variabila auxiliară >2), măreşte gradul de complexitate al textului, din mai multe cauze:

• Eliminarea cuvintelor de legătură afectează gradul de înţelegere al contextului; • Totodată 90% din cuvintele <2 caractere sunt încadrate în grupul G 1 conform Manulex; • Proporţia de cuvinte complexe rămâne constantă;

• Sunt folosite astfel de eliminări când se doreşte identificarea cuvintelor cheie şi a elementelor care generează complexitate. Complexitatea grupului G 1 revine în aceleaşi marje în momentul în care variabila auxiliară creşte deoarece se vor elimina şi cuvinte din grupurile G 2 şi G 3 .

Observăm că în urma experimentului eliminările cu variabila auxiliară cea mai mare respectiv 4 converge către distribuţia iniţială. Astfel, pentru a concluziona în urma acestor rafinări , complexitatea unui text este dispersată conform cu elementele ce o compun. Totodată, eliminarea elementelor din dispersie ajută la localizarea elementelor care influenţează major, dar fără a ţine seama de conţinut şi de auditoriul ţintă analiza bazată exclusiv pe distribuţia în grupuri de complexitate nu este suficientă. În continuare prezentăm analiza conţinutului CM2, dar în funcţie de indicii D şi SFI.

Indicatorii de dispersie D şi de indice standard de frecvenţă SFI prezentaţi în tabelul 5 sunt folosiţi pentru a determina frecvenţa şi aria de răspândire a cuvintelor în corpus (vezi figura 2). Folosind cei doi indicatori putem să identificăm gradul de complexitate al unui cuvânt raportat atât la corpus, cât şi la gradul de izolare. Astfel, un cuvânt care are indicele D < 30% este prezent foarte rar în corpus, crescând complexitatea generală. De asemenea, o frecvenţă redusă a cuvântului creşte gradul de complexitate, deoarece sunt mai puţine contexte în care acesta poate fi întâlnit şi totodată care pot fi asociate cuvântului.

Concluzii

În concluzie, lucrarea de faţă a avut drept scop urmărirea evoluţiei complexităţii utilizând atât factori generali, cât şi metrici adaptate manualelor sistemului şcolar francez. Rezultatele acestei lucrări pot fi măsurate folosind indicatori de complexitate al căror unic scop este de a adapta mesajele scrise şi orale la nivelul de înţelegere al audienţei pentru a asigura o asimilare cât mai clară şi de durată a cunoştinţelor. Totodată, drept extinderi ulterioare vizăm integrarea metricilor definite anterior în modelul multi-dimensional de analiză a complexităţii textuale propus de [START_REF] Dascalu | Towards an integrated approach for evaluating textual complexity for learning purposes[END_REF] şi prezentat în detaliu în [START_REF] Dascalu | ReaderBench, an Environment for Analyzing Text Complexity and Reading Strategies[END_REF]. Studiul de caz prezentat analizează evoluţia complexităţii grupurilor în urma unor acţiuni de rafinare macro. Prin rafinarea macro se urmăreşte analiza complexităţii din punct de vedere metric, iar informaţiile obţinute trebuie să treacă prin toate procesele de prelucrare descrise mai sus pentru a putea extrage concluzii rafinate şi a putea face trecerea către analiza microanaliza contextuală. Astfel o primă informaţie obţinută în urma analizei macro reprezintă majoritatea grupului G 1 în corpusul CM2.

Majoritatea grupului G 1 este reflectată şi prin ceilalţi indicatori studiaţi F,D,U şi SFI. Pornind de la aceste informaţii putem analiza în detaliu semnificaţia fiecărui indicator şi modul în care aceştia afectează complexitatea în caz real. Astfel indicii D şi SFI indică o frecvenţă mare a cuvintelor în corpus, corelând cu apartenenţa cuvintelor la grupul G 1 putem trage concluzia că textul este în marea lui majoritate de complexitate redusă şi astfel adaptat clasei primare aferentă, respectiv clasa a patra din ciclul primar. Totuşi există elemente care indică şi prezenţa unor fragmente de complexitate ridicată, dar corelând din nou cu indicii D şi SFI care indică o frecvenţă mare şi ţinând cont de contextul general al grupului G 1 , putem afirma că nivelul de complexitate textuală converge către minimul categoriei G 3 -G 5 , respectiv G 3 .

Analizând dinamica textuală a manualelor şcolare analizate şi folosind metodele descrise anterior, abordarea propusă a condus la următoarele concluzii:

• Grupul de complexitate mediu al textului scade dacă verbele sunt eliminate complet; • Scăderea este treptată dacă verbele sunt eliminate folosind o variabilă auxiliară -lungime, unitate gramaticală; • Numărul de verbe din text influenţează în mod direct complexitatea; astfel, un dialog are complexitate mai mare decât un monolog, o naraţiune sau o definiţie de concept. Un alt factor care ajută la accentuarea mesajului şi a evidenţierii contextului este reprezentat de eliminarea cuvintelor puţin relevante de "stopwords". Metoda în sine nu reprezintă un factor determinant în analiza complexităţii, dar corelată cu alte tipuri de metrici ajută la identificarea componentelor cheie ale textului. Disjuncţia şi prelucrarea grupurilor Manulex a fost un prim pas de clasificare a textelor şi totodată de asigurare a unicităţii cuvintelor. Utilizând grupuri disjuncte s-a putut face o analiză granulară a textelor, rezultatul fiind apoi prelucrat şi în funcţie de cei factori F, U, D şi SFI cât şi a celorlalte metrici prezentate mai sus.

În altă ordine de idei, euristicele clasice ignoră imaginile dintr-un text, calculând un scor fără să ţină cont dacă un text conţine doar text sau fiecare paragraf are o imagine asociată. Imaginile au un rol foarte important în asimilarea şi asocierea noţiunilor mai ales pentru ciclurile şcolare primare. Un şcolar în clasa întâi va asimila mult mai uşor conceptul de primată dacă are asociată o imagine relevantă. Memoria vizuală şi corelaţiile între informaţii reprezintă o modalitate de a face informaţia mai uşor de reţinut pentru audienţă. De asemenea timpul în care este reţinută informaţia este mai scurt, iar perioada de timp în care noţiunea este reţinută se măreşte.

Toate observaţiile anterioare sunt luate în considerare drept potenţiale direcţii ulterioare de cercetare.

Figura 1 .

 1 Figura 1. Exemplu de graf de parsare http://www.cs.jhu.edu/~jason/465/

Grupurile Manulex de concepte, factori de analiză a complexităţii textuale şi euristici de optimizare 4.1 Grupurile Manulex

  Baza de date Manulex conţine 48.886 intrări nelematizate şi 23.812 intrări lematizate. Acest conţinut online a fost ales pentru această lucrare datorită flexibilităţii şi preciziei datelor. Analiza complexităţii textelor din manualele de limba franceză este calculată şi în funcţie de distribuţia cuvintelor în grupuri de complexitate. Distribuţia cuvintelor în grupuri conform Manulex este prezentată în tabelul 3.Astfel, fiecare text conţine mai multe fragmente care la rândul lor conţin mai multe paragrafe. Un paragraf poate conţine una sau mai multe fraze iar componenţa unei fraze este formată din două sau mai multe propoziţii. Cuvântul este unitatea indivizibilă în cadrul acestei analize. Scopul acestui criteriu de măsurare este determinarea procentului de complexitate aparţinând fiecărui grup.

	Tabelul 1. Indici de măsurare a frecvenţei Ciclul gimnazial Vârstă Nivel şcolar 3-6 ani Clasa V 6-8 ani Clasa VI 8-10 ani Clasa VII 10-11 ani Clasa VIII Descriere frecvenţa generală indicele de dispersie frecvenţa estimată per 1 milion de cuvinte indicele standard de frecvenţă Tabelul 3. Grupurile Manulex -1.909.918 cuvinte Ciclul primar Nivel şcolar Vârstă Clasa I 11-12 ani Clasa II 12-13 ani Clasa III 13-14 ani Clasa IV 14-15 ani Indice F D U SFI Grup Componenţă G 1 172.248 -cuvinte elementare G 2 351.024 -cuvinte de dificultate medie 4. Tabelul 2. Indici de măsurare a frecvenţei G 3 -G 5 1.386.546 -cuvinte de dificultate ridicată

Manulex

[START_REF] Lété | Manulex: A grade-level lexical database from French elementary-school readers[END_REF]

) este o bază de date online care conţine manualele şcolare primare franceze cu aproximativ 2 milioane de cuvinte împărţite în grupurile de complexitate G 1 →G 5 . Pe lângă grupurile de complexitate Manulex mai oferă şi informaţiile suplimentare prezentate în cadrul tabelului 2.


Bogdan Oprescu
email: bogdan.oprescu@cti.pub.ro

Mihai Dascălu
email: mihai.dascalu@cs.pub.ro

Ștefan Trăușan-Matu

Traian Rebedea
email: traian.rebedea@cs.pub.ro

Philippe Dessus
email: philippe.dessus@upmf-grenoble.fr

Maryse Bianco
email: maryse.bianco@upmf-grenoble.fr

Analiza automată a auto-explicațiilor

Keywords:

REZUMAT

INTRODUCERE

Studii psihologice și pedagogice au arătat că oamenii tind să înțeleagă mai bine un text atunci când încearcă să își explice ceea ce au citit și asimilat pe parcursul lecturii [START_REF] Chi | Eliciting self-explanations improves understanding[END_REF], [START_REF] Mcnamara | Training Reading Strategies[END_REF]. Pornind de la aceste observații, au fost dezvoltate tehnici, precum SERT [START_REF] Mcnamara | Reading comprehension strategies: theories, interventions, and technologies[END_REF], care să ajute elevii să înțeleagă mai bine textele științifice în vederea eficientizării procesului de învățare prin focalizarea acestuia pe înțelegere, mai degrabă decât pe memorare.

Experimentele educaționale desfășurate de noi decurg în următorul fel: la momente predefinite, elevii sunt opriți în timpul lecturii și li se cere să explice ceea ce au citit până la momentul respectiv. Explicațiile lor sunt înregistrate și apoi transcrise, evaluate de doi experți umani și clasificate conform unei scheme folosite de Mcnamara în aplicații similare pentru limba engleză [START_REF] O'reilly | iSTART: a web-based reading strategy a Intervention that improves students' science comprehension[END_REF]. În sistemele mai avansate de asistență la învățare, elevilor li se prezintă mai multe metode de verbalizare și sunt încurajați să le folosească în mod alternativ. Așadar, evaluarea explicațiilor date de elevi este un pas cheie în a-i ajuta să își îmbunătățească înţelegerea în timpul citirii unui text. Criteriul nostru de evaluare este reprezentat de cunoștințele folosite de cititor pentru a formula propriile explicații. În consecință, o verbalizare poate fi:

Parafrazare -o reformulare a ultimului paragraf citit folosind alte cuvinte. Parafrazarea textelor obligă elevii să reformuleze textele într-o manieră cât mai familiară. De asemenea, îi forțează să facă o reprezentare mintală a cunoștințelor din text și să înțeleagă structura generală a contextului; aceștia pot fi considerați primii pași în procesul de înțelegere a textului dat.

Predicție -o explicație care anticipează parțial o parte din informația care urmează să apară în text.

Cauzal-relevantă -o frază apropiată oarecum de o alta cauzal relevantă din ultimul paragraf.

Verbalizare bazată pe cunoștințe anterioare -o explicație în care cititorul folosește informații anterioare împreună cu informațiile găsite în text.

Corelație -tip de explicație în care cititorul leagă fragmente de informație din ultimul paragraf sau din paragrafe mai vechi din text care îl ajută să înțeleagă cum diferite alte părți din text sunt legate și să îşi producă o imagine globală asupra întregului material citit.

Dacă dorim ca elevii să fie mereu asistați vom avea nevoie de un pedagog specializat care să supravegheze un număr mic de elevi, ceea ce face aceste tehnici greu de aplicat la o scară largă. În plus, evaluarea conținutului unei verbalizări este o activitate subiectivă care poate fi asistată de tehnici computaționale. Din acest motiv a apărut ideea folosirii unei aplicații pe calculator, care să asiste activitatea unui cadru didactic.

Primele experimente au fost publicate de McNamara et al. [START_REF] O'reilly | iSTART: a web-based reading strategy a Intervention that improves students' science comprehension[END_REF], iar iSTART poate fi considerat prima implementare care tratează auto-explicațiile [START_REF] Jackson | Assessing Cognitively Complex Strategy Use in an Untrained Domain[END_REF]. Acesta funcționează exclusiv pentru limba engleză si conține mai multe module: unul care explică sistemul SERT studenților, altul care face o demonstrație de utilizare a auto-explicațiilor folosind un student și un tutore virtual și un al treilea care se ocupă de antrenarea utilizatorului propunând texte spre lectură, cerând explicații și oferind ajutor în formularea lor. Principala provocare ridicată de un astfel de sistem este evaluarea verbalizărilor oferite de studenți în concordanță cu materialele citite, aceasta fiind componenta pe care încearcă să o implementeze aplicația noastră, de aceasta dată pentru limba franceză.

Astfel, scopul proiectului nostru a fost de a face posibilă integrarea de noi texte fără intervenția vreunui specialist, iar prelucrarea lor manuală să fie redusă sau chiar absentă.

iSTART împarte verbalizările în patru categorii principale: irelevante, parafraze, verbalizări conținând cunoștințe prezente în alte zone ale textului decât în pasajul tocmai citit, și verbalizări care folosesc cunoștințe anterioare ale elevului, neîntâlnite în text. După cum rezultă și din datele prezentate în [START_REF] Dennis | Handbook of latent semantic analysis[END_REF], este mai ușor să se identifice parafraze sau explicații irelevante, însă este mult mai dificil de identificat verbalizările care fac parte din celelalte două categorii.

Scopul nostru a fost să creăm un sistem similar cu iSTART pentru limba franceză care să poată fi folosit pentru texte cu o dificultate corespunzând cunoştinţelor elevilor din clasele primare. În acest context, am conceput un modul de evaluare care utilizează Analiza Semantică Latentă (LSA) și o euristică bazată pe vocabularul folosit, ca tehnici de prelucrare a limbajului natural.

Metoda folosită pentru a include automat verbalizările într-o categorie a fost să comparăm explicația dată de utilizator cu paragraful citit ultima dată, cu precedentul și cu cel care îl succede, așa cum se observă în Figura 1: Modul în care o verbalizare este apoi inclusă în una dintre categorii este detaliat în Tabelul 1. În continuare această lucrare se va focaliza pe a stabili ce înseamnă "apropiat" și "oarecum apropiat" în termeni de prelucrare de limbaj natural și pe detecția verbalizărilor în care elementele de parafrază predomină.

Următoarele secțiuni descriu arhitectura aplicației și rolul fiecărui modul în încercarea noastră de a determina natura verbalizărilor furnizate de utilizatori. Ulterior prezentăm experimentele realizate și deciziile pe care le-am luat pe baza rezultatelor obținute prin măsurarea similarităților și prin detecția erorilor.

ARHITECTURA Aplicația e compusă din mai multe module (Figura 2), unele fiind folosite în interacțiunea directă cu utilizatorul. În cadrul acestei lucrări ne vom concentra în special asupra prezentării modulelor care se ocupă de evaluarea auto-explicațiilor.

Fluxul de date

La pornirea aplicației, un fișier de configurare este parsat, iar drept rezultat un graf de stări este construit pentru a dicta comportamentul aplicației. Atunci când este cerută o verbalizare, textul este corectat pe măsură ce utilizatorul scrie, folosindu-se modulul Jazzy, pentru a elimina greșelile apărute la dactilografiere, ca de exemplu caractere lipsă sau caractere interschimbate. Apoi, textul corectat este trimis către modulul ,,Stare", care cere modulului ,,Test" să evalueze verbalizarea. În funcție de răspunsul primit de la modulul ,,Test", modulul ,,Stare" poate decide să ceară o nouă explicație sau să treacă la următorul paragraf. Pentru a realiza comparația folosind LSA, modulul "Test" trece mai întâi informația prin modulul "Converter", care elimină punctuația, elimină terminațiile (dacă LSA a fost antrenat pe un corpus similar) și înlocuiește diacriticele specifice limbii franceze. La sfârșit, modulul LSA calculează un vector al paragrafului și returnează cosinusul dintre vectorii celor două paragrafe comparate. Corpusul de antrenare folosit conţine mai multe texte pentru copii. Dimensiunea totală a acestuia a fost de 6Mb de text folosit pentru crearea spațiului semantic. Corpusul de antrenare a fost segmentat și punctuația a fost eliminată, iar diacriticele limbii franceze au fost înlocuite. Doar segmentele între cincizeci și o sută de cuvinte au fost reținute pentru antrenare.

Tabelul 1. Logica de decizie

În ceea ce privește euristica bazată pe cuvinte importante, modulul ,,Test" construiește o listă de cuvintele din text separate pe părți de vorbire: substantiv, verb, adjectiv, adverb și din sinonimele lor. Pentru determinarea părții de vorbire și a formei de bază a cuvântului se folosește Tree Tagger [START_REF] Schmid | Probabilistic Part-of-Speech Tagging Using Decision Trees[END_REF]. Fiecare cuvânt este căutat apoi în WOLF [START_REF] Fellbaum | WordNet: An Electronic Lexical Database[END_REF] Modulul Jazzy este responsabil de corectarea greșelilor de ortografie din fereastra de input [START_REF] Idzelis | The Java Open Source Spell Checker[END_REF]. Modulul folosește un dicționar și încearcă să aproximeze forma corectă a cuvântului folosind distanța Levenshtein și o listă cu toate cuvintele din limba franceză. Lista de cuvinte este obținută prin parsarea unui dicționar de forme flexionale al limbii franceze, Morphalou 1 , disponibil online.

Converter

Acest modul este folosit pentru a pregăti textul pentru analiza cu LSA. Primul pas în conversie are în vedere eliminarea punctuației și a altor elemente în afară de formele cuvintelor. Dacă folosim un LSA antrenat pe un corpus pe care s-a efectuat stemming, atunci se va efectua stemming și pe textul introdus de utilizator.

Deoarece diacriticele din limba franceză au fost înlocuite în corpusul de antrenare al LSA, acestea sunt înlocuite și în textele analizate în prezent.

LSA

Analiza semantică latentă (LSA) este o teorie și metodă de extragere și reprezentare a sensului cuvintelor. Sensul este estimat folosind calcule statistice aplicate pe corpusuri mari de text. Un corpus lingvistic reprezintă un set de constrângeri pe care LSA le extrage pentru a determina sensul cuvintelor prin intermediul conceptelor [START_REF] Dennis | Handbook of latent semantic analysis[END_REF]. Ca aparat matematic, LSA folosește metode de algebră 1 http://cnrtl.fr/lexiques/morphalou/ liniară, principalul procedeu fiind descompunerea în valori proprii. Întrucât măsoară similaritatea dintre cuvinte, LSA se comportă mai bine pe corpusuri de text din zone specializate ale limbajului, cum ar fi vocabularul științific din diferite domenii. Pentru a funcționa eficient, e important ca textele pentru care metoda e apelată să fie din aceiași zonă de vocabular cu corpusul de antrenare.

Principala calitate a LSA este capacitatea de a exploata constrângerile mutuale. Astfel, înțelesul unui paragraf poate fi calculat pe baza sensului cuvintelor din care acesta este compus. LSA tratează corpusul ca pe un număr de paragrafe individuale care au un înțeles coerent, le convertește pe fiecare într-o ecuație în care fiecare cuvânt este o variabilă iar numărul său de apariții coeficientul corespunzător, iar prin rezolvarea sistemului este calculată valoarea fiecărui cuvânt. De aceea, prin LSA este posibil să se calculeze valoarea unui paragraf prin însumarea valorilor fiecăruia din cuvinte. În această abordare, înțelesul fiecărui cuvânt depinde de cuvintele care fac parte din acel paragraf. Din această cauză, pentru a aplica LSA eficient, corpusul de antrenare trebuie să fie suficient de mare, comparabil ca dimensiune cu volumul de text de care are nevoie un om pentru a învăța să vorbească. Din cauza dimensiunii mari a sistemului de ecuații, calculele necesare pentru antrenare consumă mult timp și resurse, chiar și pentru sistemele puternice de calcul folosite astazi. După ce se realizează descompunerea în valori proprii, spațiul vectorial rezultat este proiectat pe aproximativ 300 de dimensiuni, obținându-se un spațiu semantic de vectori care urmează să fie folosit în calcularea valorii fiecărui paragraf.

Vectorul unui paragraf este estimat ca suma componentelor sale, iar similaritatea între paragrafe este măsurată ca valoarea cosinusului dintre vectorii celor două paragrafe. S-a mai introdus și un parametru menit să amortizeze efectul cuvintelor care apar prea des și într-un număr mare de paragrafe, Tf-IDf (Term frequency, Inverse Document frequency) [START_REF] Dennis | Handbook of latent semantic analysis[END_REF], pentru a mări acuratețea măsurătorilor. Formula de calcul a componenței vectorului unui paragraf, pe dimensiunea i, este următoarea:

n) + ( f x = p i k = i i i log 1 1 0 ∑ unde x i
este valoarea componentei vectorului cuvântului x pe dimensiunea i, n este numărul de apariții al cuvântului în paragraf, f i este frecvența cuvântului în corpusul de antrenare și k este dimensiunea spațiului de vectori, care în cazul nostru are valoarea 300.

Cosinusul unghiului dintre doi vectori este calculat cu formula:

∑ ∑ ∑ 2 2 cos i i i i y x y x = ) y , x (

Stemmer

În prelucrarea limbajului natural, operația de stemming presupune extragerea rădăcinii comune din forma flexională a unui cuvânt. În acest scop trebuie eliminate sufixele și prefixele cuvintelor astfel încât cuvinte din aceiași familie să se reducă la aceiași formă, nefiind obligatoriu ca această să fie o formă de dicționar. Implementarea noastră integrează Snowball [START_REF] Porter | Snowball: A language for stemming algorithms[END_REF], un stemmer open-source bazat pe reguli.

Tree Tagger

Tree Tagger [START_REF] Schmid | Probabilistic Part-of-Speech Tagging Using Decision Trees[END_REF] este un instrument care etichetează cuvintele în funcție de categoria morfologică din care fac parte și ajută la identificarea cuvintelor din principalele categorii recunoscute de WordNet (substantiv, verb, adjectiv si adverb). O altă funcție foarte importantă îndeplinită de Tree Tagger este aceea de identificare a rădăcinii cuvintelor, astfel încât ele pot fi mai ușor căutate în dicționar. Principalul avantaj al acestei implementări este că aceasta poate funcționa independent de limbă, necesitând doar un fișier specific de configurare, particularizat pentru fiecare limbă în parte.

WOLF

WordNet este o ontologie lexicalizată pentru limba engleză [START_REF] Fellbaum | WordNet: An Electronic Lexical Database[END_REF]. Acesta grupează cuvintele în seturi de sinonime, numite synset-uri, oferă definiții scurte și generale pentru ele și ține cont de relațiile semantice între synset-uri. Scopul final este de a produce o combinație de dicționar și de tezaur care să fie intuitivă și care să suporte analize automate. Este important de specificat diferența dintre WordNet și un tezaur. Un tezaur este o mulţime de cuvinte grupate împreună în funcție de sens. WordNet realizează suplimentar și legătura între concepte, devenind astfel un instrument important pentru prelucrarea limbajului natural.

Întrucât scopul programului nostru a fost să prelucrăm limba franceză, a trebuit să găsim o alternativă la WordNet care să funcționeze pentru limbă franceză.

Singura bază de date similară, open-source pentru franceză este WOLF (WordNet Libre du Français), un proiect dezvoltat de Benoît Sagot la universitatea Paris 7 în Paris. Această versiune conține aproximativ treizeci de mii de synset-uri, cam o treime din câte conține versiunea pentru engleză, iar câmpurile care desemnează sensul sunt completate cu informații cu privire la sursele din care fost preluat cuvântul, și nu cu numărul aferent sensului. Baza de date este păstrată într-un format XML și respectă sintaxa folosită de BalkaNet [START_REF] Stamou | Balkanet: A Multilingual Semantic Network for Balkan Languages[END_REF], un proiect similar dezvoltat pentru mai multe limbi est-europene. În mod evident WOLF nu este la fel de performant ca varianta pentru engleză a WordNet, dar este instrumentul cel mai potrivit pentru scopurile noastre.

Măsurarea similarității

Modulul de măsurare a similarității ocupă rolul central al aplicației, conectând toate celelalte module între ele și realizând operațiile cele mai importante. Acesta primește intrarea de la modulul ,,Stare" și de la fișierele de configurare, apelează celelalte module pentru a evalua verbalizările și trimite răspunsul final către modulul ,,Stare".

Pentru abordarea bazată pe cuvinte importante au fost folosite Tree Tagger și WOLF cu scopul de a crea liste de cuvinte relevante pentru fiecare paragraf. Când un paragraf este creat, cuvintele din componența lui sunt etichetate și apoi este creată o listă conținând toate sinonimele pentru substantivele, verbele, adverbele și adjectivele din text. Toate aceste cuvinte sunt considerate ca fiind cuvintele relevante din text.

Mai târziu cuvintele din verbalizare sunt și ele etichetate și apoi sunt numărate cuvintele din fiecare categorie. Se calculează raportul dintre cuvintele aflate în verbalizare care se regăsesc în lista de cuvinte importante ale paragrafului și numărul total de cuvinte din verbalizare, pentru fiecare din cele patru părți de vorbire luate în considerare. Pentru calcularea unui grad unic de asemănare se folosește formula:

! = ! ! ! + ! ! ! + !" !" !" + !" !" !" ! + ! + !" + !"
unde ! este valoarea returnată de funcție, ! , ! , !" si !" sunt numerele de substantive, verbe, adjective si respectiv adverbe din verbalizare prezente în lista de cuvinte relevante a paragrafului, ! , ! , !" și !" reprezintă numerele totale de cuvinte din cele patru părți de vorbire din cele patru paragrafe, iar ! , ! , !" si !" sunt ponderile lor în calcularea mediei. Ponderile au fost determinate experimental, încercându-se multiple combinații pentru diferite valori ale ponderilor.

O funcție separată este folosită pentru a calcula similaritatea cu ajutorul LSA. Aceasta compară fiecare propoziție din verbalizare cu întreg paragraful și valorile obținute sunt păstrate într-o listă. Apoi sunt eliminate cele mai mici două valori și se returnează o medie a valorilor rămase, ponderată cu lungimea propozițiilor. În final, întreaga verbalizare este comparată cu paragraful în cauză și valoarea obținută este introdusă în calcul, cu o pondere egală cu jumătate din lungimea ei.

După calculul acestor doi parametri, modulul "Test" poate lua o decizie cu privire la paragraful analizat. Au fost calculate experimental un prag minim și un prag maxim, iar în urma observațiilor făcute pe multiple categorii de texte, s-a ajuns la concluzia că cea mai bună variantă ar fi setarea manuală a pragurilor la valori convenabile determinate experimental. Dacă scorul paragrafului este scăzut pentru ambele criterii, atunci explicația nu poate fi luată în considerare. Dacă scorurile depășesc pragurile superioare, atunci aceasta este considerată o parafrază. Altfel, explicația este considerată drept având legătură cu paragraful, dar nu suficient de apropiată pentru a fi considerată o parafrază.

REZULTATE

Am efectuat mai multe teste folosind cele două metrici (similaritate LSA și co-apariții ale cuvintelor) și am reușit să formulăm mai multe concluzii pe baza acestor rezultate. Corpusul nostru de test a constat într-un text împărțit în șase paragrafe, de aproximativ cinci propoziții fiecare, și din verbalizările date de cinci elevi de clasele primare pentru paragrafele respective. Participanții la experiment au fost rugați să se oprească din lectură după fiecare secțiune și să explice ce au citit până în momentul respectiv. Verbalizările au fost apoi evaluate manual și au fost identificate elementele de parafrază, corelare, elaborare sau predicție din cadrul fiecăreia. folosit ambele metrici pentru a compara verbalizările date de elevi cu paragraful citit înainte, cu paragraful care îl precede și cu următorul paragraf din text și am încercat să determinăm natura verbalizărilor bazându-ne pe rezultatele acestor comparații.

Primul aspect care ne-a interesat presupune măsurarea distribuției valorilor returnate de funcțiile de evaluare pe codomeniul acestora, respectiv intervalul [0, 1], pentru a verifica dacă distribuția acestor valori este uniformă. În consecință am ales în mod arbitrar rezultatele returnate de cele două metrici pentru o serie de verbalizări din corpusul nostru de test, am sortat crescător rezultatele și le-am reprezentat în graficele de mai jos (Figurile 4 și 5). Până în prezent am reușit să identificăm parafrazele cu o precizie destul de bună și să realizăm că nu se pot obține alte informații utile doar prin tehnicile folosite până în prezent. În consecință este nevoie să implementăm și alte strategii și să folosim cu atenție instrumentele pe care le avem la dispoziție pentru a îmbunătății rezultatele și a identifica un număr mai mare de tipuri de verbalizări.

Cercetările viitoare se vor focaliza pe găsirea de similarități între verbalizări și diferite părți din text pentru a înțelege mai bine cât din informația prezentată a fost folosită și înțeleasă de utilizator, pentru a oferi explicații suplimentare și pentru a evalua rezultatele folosind un model formal de analiză a discursului.

Figura 1 .

 1 Figura 1. Tehnica de comparare

  V aproipat de o propoziție cauzalrelevantă (selectată manual) din C Cunoștințe externe V aproioat de un rezumat al textului Corelare P, U, C, V apropiate între eleModulul ,,Test" primește verbalizarea și o compară cu paragraful curent, cu cel precedent și cu următorul paragraf. Funcția de determinare a similarității e bazată pe Analiza Semantică Latentă (LSA) și pe o listă de cuvinte relevante. Funcția obține un rating de la cele două metode de comparare și calculează un rating unic. Modul de combinare și de folosire în determinarea tipului verbalizării au fost determinate experimental, iar pragurile identificate au fost introduse în logica aplicației. Modul efectiv în care au fost stabilite pragurile va fi detaliat în secţiunile următoare.

Figura 2 .

 2 Figura 2. Fluxul de date

Figura 3 .

 3 Figura 3.Distributia valorilor pentru metrica bazate pe vocabularSe observă că LSA variază într-un interval mai mic, între 0 și 0.5, în timp ce euristica bazată pe co-apariții ale cuvintelor returnează valori între 0 și 0.7; în orice caz, ambele evoluează aproximativ liniar. Această analiză ne ajută să stabilim un prag peste care putem considera o verbalizare ca fiind o parafrază.

Figura 4 .

 4 Figura 4. Distribuția valorilor pentru metrica LSA În acest moment avem două metrici, ambele indicând gradul de asemănare între două paragrafe, dar trebuie să decidem dacă rezultatele acestor două metrici sunt sau nu coerente. În consecință, am încercat să evaluăm gradul în care rezultatele returnate de acestea sunt coerente. Figura 5 prezintă rezultatele comparative ale celor două metrici atunci când sunt furnizate aceleași intrări.

  Figura 7 arată același test pentru metrica bazată pe vocabular. Se observă că graficul are aceiași caracteristică, cu unele variații, ceea ce ne face să constatăm că metrica LSA este mai precisă decât cealaltă, chiar dacă valorile medii returnate sunt oarecum mici.Pornind de la cercetările realizate de McNamara am început dezvoltarea unei aplicaţii care integrează multiple tehnici de prelucrare a limbajului natural și care vizează să evalueze în mod automat auto-explicațiile date de elevi în timpul lecturii, să le împartă în categorii și să ofere indicații corespunzătoare cititorilor.Astfel, pentru a determina natura verbalizărilor am folosit LSA și o euristică bazată pe vocabularul folosit pentru a compara verbalizarea furnizată cu paragrafele alăturate; pe Această abordare a oferit rezultate încurajatoare dintr-o perspectivă, însă limitate vizavi de mulțimea tuturor structurilor care ar trebui identificate automat.

	Figura 6. Verbalizări conținând parafraze comparate cu LSA
		0,8
		0,7
		0,6
		0,5
		0,4
		0,3
		0,2
		0,1
	Figura 7. Verbalizări conținând parafraze comparate folosind	0	1	3	5	7	9 11 13 15 17 19 21 23 25 27 29
	metrica bazata pe vocabular					LSA	Cuvinte	Agregat
	CONCLUZII

Figura 5. Comparație intre cele doua metrici folosite

Pe baza acestor observații, am decis că cea mai bună metodă de a combina aceste două metrici este să le înmulțim. Rezultatul metricii combinate este, de asemenea, prezentată pe grafic, cu culoarea galben.

Corelația Pearson pentru cele două metrici, calculată pentru datele pe care a fost testată este de 34.02%, iar față de valoarea agregată, LSA are o corelație de 87.73%, în timp ce euristica bazată pe vocabular are o corelație de 68.16%, ceea ce înseamnă că prima euristică are o pondere mai mare în rating-ul agregat.

Pe baza acestor rezultate am decis să stabilim un prag superior de 0.07 pentru metrica combinată pentru a decide dacă o verbalizare este parafrază sau nu. Acest prag ne-a permis să identificăm 19 din 27 de parafraze în testele efectuate, ceea ce înseamnă o precizie de aproximativ 70%.

Astfel, în acest moment știm că putem identifica parafrazele cu o precizie destul de bună, dar trebuie să evaluăm dacă datele obținute ne pot ajuta și în privința altor tipuri de verbalizări. În consecință am comparat valoarea returnată de metrica pentru paragraful curent, pentru cel precedent și pentru cel care îl succede, pentru a găsi similarități între verbalizările de același tip. Am reprezentat separat variațiile date de cele două metrici pentru verbalizările în care predomină elementele de parafrazare.

Figura 6 prezintă valorile returnate de LSA pentru 11 parafraze comparate cu paragraful tocmai citit, cu cel precedent și cu următorul. Este evident că asemănarea cu paragraful curent este mult mai mare decât cu cele învecinate, unde valoarea returnată de funcția de comparație se apropie de zero.


Analiza Semantică Latentă

Diana Lupan
email: diana.lupan@cti.pub.ro

Mihai Dascălu
email: mihai.dascalu@cs.pub.ro

Ștefan Trăușan-Matu

Traian Rebedea
email: traian.rebedea@cs.pub.ro

Philippe Dessus
email: philippe.dessus@upmf-grenoble.fr

Maryse Bianco

Analiza stărilor emoționale induse de citirea unei știri

REZUMAT

Emoţiile pot fi identificate atât în comunicarea verbală cât şi în cea scrisă. Dacă în primul caz pot fi identificate mai ușor datorită unor trăsături specifice comunicării verbale (limbajul corpului, tonul vocii sau inflexiuni), în al doilea caz regăsirea acestora poate fi o adevărată provocare. Aşadar, propunem o metodă inedită de analiză automată a emoţiilor transmise prin intermediul comunicării scrise, mai exact, determinarea stării emoţionale a unei persoane în urma citirii unei ştiri. Cu alte cuvinte, scopul nostru este de a determina cum citirea unei ştiri afectează starea emoţională a cititorului şi să ajustăm aceste valori pe baza stării emoţionale curente a acestuia. Dintr-o perspectivă mai tehnică, sistemul dezvoltat (Emo2 -Emotions Monitor) combină o abordare independentă de context (evaluarea efectivă a ştirii utilizând tehnici de prelucrare a limbajului natural) cu influenţele determinate de starea emoţională curentă a utilizatorului. Astfel, scopul metodei propuse este de a obţine o estimare a stării emoţionale finale a utilizatorului cât mai apropiată de cea reală.

Cuvinte cheie

stare emoţională, analiza emoțiilor, analiza semantică latentă, analiza automată de articole de ştiri Clasificare ACM

I.2.7 Natural Language Processing

INTRODUCERE

Emoţiile sunt unul dintre elementele definitorii ale naturii umane, ele fiind prezente în viaţa de zi cu zi şi aproape în orice context. Acestea adaugă valoare interacţiunilor umane într-o modalitate unică şi efectul indus de ele poate schimba complet înţelesul unui mesaj.

Cu toate că emoţiile pot fi identificate mai ușor în comunicarea faţă în faţă sau verbală, ele pot fi evidențiate şi în mesajele scrise. Dacă în primul caz sunt exprimate preponderent prin limbajul corpului şi caracteristici specifice vocii (spre exemplu ton, ritm, frecvenţă), în al doilea caz toate aceste trăsături sunt eliminate deoarece canalul de comunicaţie nu le poate suporta. În consecinţă, identificarea emoţiilor în comunicarea scrisă se poate dovedi a fi o adevărată provocare datorită lipsei acestor caracteristici, singurele elemente de analiză rămânând cuvintele, grupate în propoziţii. Cu toate acestea, analiza emoţiilor din comunicarea scrisă poate oferi o înţelegere mai exactă a mesajului transmis şi poate prezice impactul cel mai probabil pe care îl va avea asupra persoanei care îl va citi.

Abordarea noastră urmăreşte analiza automată a modificării stării emoţionale şi a sentimentelor unei persoane în urma citirii unui articol. Ne vom concentra pe analiza unor articole de ştiri scurte formate din titlu şi o scurtă descriere, scrise cu intenţia de a "provoca" emoţii şi de a atrage atenţia cititorului.

În acest articol vom prezenta două abordări implementate în sistemul Emo2 (Emotions Monitor): o abordare independentă de context şi una dependentă de context. Prima abordare presupune evaluarea conţinutului ştirii utilizând diferite metode de prelucrare a limbajului natural, iar a doua ia în considerare starea emoţională a cititorului în momentului citirii articolului.

În secţiunea următoare este prezentată o descriere generală a arhitecturii sistemului, cu detalierea fiecărui modul. Cea de a treia secţiune se axează pe abordarea independentă de context cu cele 2 dimensiuni, semantică şi lexicală. Cea de a patra secţiune prezintă abordarea influenţată de context, iar ultima parte cuprinde rezultatele şi concluziile.

ABORDĂRI SIMILARE

În această secțiune vom prezenta câteva dintre cele mai importante proiecte similare cu subiectul propus. Proiectul UA-ZBSA [START_REF] Kozareva | UA-ZBSA: A Headline Emotion Classification through Web Information[END_REF] a fost dezvoltat pentru SemEval 2007 și îsi propune să clasifice titlurile unor știri în 6 categorii, în funcție de emoțiile pe care fiecare le exprimă: furie, dezgustare, frică, bucurie, tristețe și suprindere.

Pornind de la această idee, abordarea noastră cuprinde tot o clasificare după 6 emoții de bază, dar am adaptat lista de mai sus pentru a obține o clasificare cât mai exactă în raport cu subiectul propus. Acestea sunt: în controlul situației, frică, bucurie, tristețe, încântare, plictiseală. (descrise în detaliu în secțiunile următoare).

Clasificarea emoțiilor utilizată in proiectul UA-ZBSA este bazată pe frecvența și pe apariția în același context a conceptelor. Se aplică ideea conform căreia cuvintele care apar de multe ori într-un context care exprimă o stare emoțională, au o probabilitate mare de a exprima starea emoțională respectivă.

Un sistem similar UPAR7 [START_REF] Chaumartin | UPAR7: A knowledge-based system for headline sentiment tagging[END_REF] a fost proiectat pornind de la ideea că este foarte probabil ca majoritatea conceptelor din titlul unei știri să exprime emoții. Obiectivul analizei este de a identifica fragmentul care cuprinde mesajul deoarece are cea mai mare relevanță.

Totodată, s-au dezvoltat reguli pentru detecția unor anumitor tipuri de emoții (negația poate fi un indicator pentru surpriză).

Sistemul anterior a integrat SS-Tagger, Stanford Parser și utilizează WordNet, SentiWordNet și WordNet-Affect (resurse lexicale).

ARHITECTURA SISTEMULUI

Sistemul dezvoltat este format din mai multe module grupate pe nivele şi este reprezentat în Figura 1.

Figura 1. Arhitectura sistemului

Prima etapă constă în determinarea stării emoţionale curente a utilizatorului. Aşadar, aplicaţia noastră încearcă să o determine cât mai exact prin analizarea unui set de 5 ştiri care sunt evaluate în mod explicit de către utilizator. Aceste informaţii sunt utilizate într-o etapă ulterioară pentru a adapta şi personaliza rezultatele obţinute de sistem astfel încât acestea să reflecte cât mai exact impactul fiecărei ştiri asupra stării emoţionale curente a utilizatorului.

În termeni mai tehnici, analiza efectuată este divizată în 2 etape independente: o evaluare iniţială obiectivă, în cadrul modulului Evaluare, şi o evaluare subiectivă, adaptivă, de personalizare a rezultatelor luând în considerare starea emoţională curentă a utilizatorului (integrată în componenta Estimarea Stării Emoţionale Induse). Metoda de evaluare propusă utilizează mai multe date de intrare: baza de concepte ANEW îmbogăţită, un spaţiu semantic latent de vectori (LSA), un corpus de articole care exprimă o stare emoţională pură şi ştirile în curs de evaluare. Baza de concepete ANEW îmbogăţită [START_REF] Bradley | Affective norms for English words (ANEW): Stimuli, instruction manual and affective ratings[END_REF] este formată din concepte (cuvinte) care au asociate 3 valori ce sugerează starea emoţională transmisă raportată la 6 stări etalon (Tristeţe / Supărare, Plictiseală / Încântare, Controlat / În control). Prima dimensiune, de Tristeţe / Supărare exprimă aşa cum sugerează şi denumirile, o stare de fericire sau de supărare. Dimensiunea Plictiseală / Încântare reflectă gradul de interes acordat de către cititor informaţiei prezentate în articol, mai exact dacă are intenţia de a continua să citească despre subiectul prezentat sau nu. Ultima dimensiune redă starea de a te simţi în controlul situaţiei prezentate în cadrul ştirii versus a fi controlat de evenimentele (sau persoanele) descrise în articol. Aceste valori sunt în intervalul [1; 9], unde 1 este limita inferioară (polul negativ al fiecărei axe, cea mai tristă stare emoțională pentru axa Bucurie / Tristețe) iar 9 cea superioară (polul pozitiv al fiecărei axe, bucurie, pentru axa Bucurie / Tristețe). Baza de concepte iniţială (aproximativ 1000 de cuvinte) a fost îmbogăţită utilizând un algoritm format din 2 etape, prezentat în detaliu în secţiunea următoare. Procesul de evaluare cuprinde 2 abordări: determinarea similarităţii semantice între texte (conţinutul ştirilor fiind comparat cu setul de documente ce exprimă o stare emoţională pură) şi mineritul cuvintelor cheie. Cea de a doua abordare constă în extragerea celor mai importante concepte din coţinutul şi titlul unei ştiri şi în combinarea valorilor lor "emoţionale" cu scopul de a obţine sentimentele induse per total de acestea. Prin urmare, setul de documente ce induc o stare emoţională pură (Tristeţe / Supărare, Plictiseală / Încântare, Controlat / În control) este utilizat pentru a obţine dimensiunea semantică a analizei, iar identificarea conceptelor cheie oferă dimensiunea lexicală. Mineritul conceptelor cheie este efectuat separat pentru titlul ştirii şi pentru conţinut deoarece se consideră că titlul are o încărcătură emoţională mai bogată decât restul ştirii. Titlul unei ştiri este construit pentru a fi scurt şi pentru a atrage atenţia cititorilor astfel încât să o citească integral; în alte cuvinte, se consideră că titlul exprimă, din perspectiva unui cititor, esenţa şi constituie o sinteză a conţinutului efectiv. Prin urmare, datorită proprietăţilor lor intrinseci, cuvintele cheie din titlu vor avea o contribuţie mai mare în formulele aplicate decât cele extrase din restul ştirii.

În evaluarea stării emoţionale induse utilizând analiza semantică latentă (LSA), rezultatul este determinat utilizând media valorilor documentelor similare cu conţinutul unei ştiri, ponderate de valoarea efectivă a similarităţii, astfel încât documentele mai similare să deţină un procentaj mai mare. Luând în considerare similiaritatea dintre conceptele care induc o anumită stare, se poate deduce că documentele cu o structură similară a conceptelor cheie determină o stare emoţională similară. Afirmaţia anterioară nu este validă în toate cazurile, însă atunci când se compară articole de ştiri dintr-un anumit domeniu, într-un interval scurt de timp, rezultatele obţinute au fost destul de precise. Cu alte cuvinte, ştirile din aceleaşi domeniu, transmit rareori mesaje care induc emoţii diferite într-un interval scurt de timp.

Valorile obţinute utilizând cele 2 abordări sunt combinate astfel încât rezultatele finale să aproximeze cât mai bine starea emoţională cea mai probabilă a unui cititor (iniţial cu o stare neutră) după citirea unei ştiri. Modulul "Stare emoţională prezentă" integrează informaţiile oferite de utilizator cu restul analizei prin estimarea stării sale emoţionale curente. În acest scop, utilizatorul trebuie să completeze un chestionar şi să evalueze un set de

PRIMA ETAPĂ: ABORDAREA INDEPENDENTĂ DE CONTEXT

Abordarea independentă de context cuprinde 2 etape diferite: prima determină similaritatea dintre un articol şi un set de articole predefinite care exprimă o stare emoţională pură, iar a doua compară conceptele extrase din textul analizat cu termenii din baza de date ANEW îmbogăţită. Fiecare termen are asociat 3 conotaţii care exprimă starea emoțională posibil indusă în momentul citirii articolul de o persoană.

Abordarea lexicală

Abordarea lexicală utilizează o bază de date pentru stocarea valorilor emoţionale asociate cu fiecare concept exprimate în 3 dimensiuni: Tristeţe / Supărare, Plictiseală / Încântare, Controlat / În control. Baza de date utilizată este generată printr-un proces de îmbogăţire care este descris în detaliu în paragrafele următoare.

Iniţial, numărul de termeni stocaţi în baza de concepte a fost de 1000 şi valorile asociate fiecărui concept sunt obţinute din proiectul ANEW [START_REF] Bradley | Affective norms for English words (ANEW): Stimuli, instruction manual and affective ratings[END_REF]. În cadrul acestuia s-a dezvoltat un set de reguli de clasificare a unui număr semnificativ de cuvinte din limba engleză în funcţie de emoţiile pe care le induc. Baza de date asociată ANEW este îmbogăţită prin utilizarea unor tehnici de prelucrare a limbajului natural (WordNet şi analiza semantică latentă) pentru determinarea similarităţii dintre un concept considerat "cunoscut" şi unul "nou". Mai exact, am combinat metricile de similaritate dintre o ontologie lexicalizată cu cosinusul dintre conceptele reprezentate într-un spaţiu semantic latent de vectori.

Procesul efectiv de îmbogăţire a constat din 2 etape. Prima a presupus selectarea în mod aleatoriu a unui cuvânt şi determinarea sinonimelor utilizând synset-urile din WordNet, iar în a doua etapă sinonimele au fost determinate utilizându-se analiza semantică latentă [START_REF] Landauer | A solution to Plato's problem: the Latent Semantic Analysis theory of acquisition, induction and representation of knowledge[END_REF]. Luând în considerare similaritatea semantică determinată de cosinus-ul dintre 2 concepte, putem introduce noi termeni în baza de date utilizând termeni deja cunoscuţi (care se află în baza de date) şi mai exact, valorile asociate cu aceştia şi similarităţile cu conceptele ce se doresc a fi adăugate. În plus, doar conceptele "cunoscute" care au un grad de similaritate peste o anumită limită sunt considerate sinonime şi sunt incluse în calcule. Deci, utilizând sinonimele identificate prin WordNet a conceptelor din baza de date ANEW şi luând în considerare doar cele mai similare k concepte, determinăm valorile associate termenului nou şi îl introducem în baza de date îmbogăţită. După rularea mai multor teste cu valori incrementale pentru k, s-a concluzionat să alegem pentru experimentele finale k=3. Aşadar vom alege cele mai dominante şi similare 3 concepte "cunoscute".

Abordarea semantică

Aşa cum a fost menţionat anterior, abordarea semantică constă în determinarea similarităţilor dintre conţinutul unui articol de ştiri şi un corpus de documente care exprimă o stare emoţională pură. Cu toate că noțiunea de "puritate" este subiectivă şi depinde de evaluarea efectuată de fiecare persoană în parte, documentele selectate în acest proiect exprimă o dimensiune dominantă, identificată şi acceptată unanim de mai mulţi evaluatori umani. Corpusul utilizat în experimentele efectuate este format din 10 documente asociate fiecărei stări emoţionale, selectate dintr-un domeniu specific şi predefinit (ştiri de interes general). De exemplu, următorul text sugerează un sentiment puternic de fericire: "A small school was presented with a check for one hundred thousand dollars during an unforgettable assembly celebrating recycling. The students at Pascal school performed beyond expectations collecting many recyclable containers. They beat out every other school in the country to win the title and the generous check. The school plans to use the money on green projects like converting their computer center to run on solar energy."

Aşa cum s-a menţionat anterior, aceste texte au fost alese dintr-un domeniu de interes general pentru a cuprinde o gamă cât mai largă de emoţii. Algoritmul utilizat pentru calcularea similarităţii semantice dintre un articol de ştiri şi document ce exprimă o stare emoţională pură este analiza semantică latentă, descrisă în secţiunea următoare.

Analiza Semantică Latentă

Principala tehnică de prelucrare a limbajului natural din acest proiect este analiza semantică latentă, aceasta fiind utilizată atât în procesul de îmbogăţire a bazei de date, cât şi în abordarea semantică. Analiza semantică latentă [START_REF] Foltz | Latent semantic analysis for text-based research[END_REF] [3] este o metodă de determinare a similarităţii dintre cuvinte şi fraze prin analiza unui corpus de texte extins. Ideea fundamentală din spatele algoritmului este că totalitatea contextelor în care un cuvânt apare sau nu, oferă o modalitate de determinare a similarităţii dintre sensurile cuvintelor. Analiza semantică latentă creează o reprezentare vectorială a textelor din corpus şi determină similaritatea dintre perechile de texte prin compararea reprezentărilor vectoriale asociate într-un spațiu de vectori de dimensiune mai mică, alcătuit din componentele principale cu cele mai mari valori singulare, numit spațiu semantic latent. Principalul motiv pentru care utilizăm acest alogoritm este că s-a dovedit că aproximează bine comportamentul uman [START_REF] Landauer | An introduction to Latent Semantic Analysis[END_REF].

Prin urmare, analiza semantică latentă poate fi folosită cu succes pentru a extinde datele obţinute în urma experimentelor cu subiecţi umani (subiecţii au evaluat diferite cuvinte după 3 dimensiuni: plăcere ,încântare şi dominanţă) şi pentru a estima modul în care statea emoțională este afectată după citirea unei ştiri [START_REF] Wang | Sentiment classification of documents based on Latent Semantic Analysis[END_REF]. Algoritmul utilizează un corpus extins de texte, deci primul pas a fost colectarea unui număr mare de date şi separarea lor în documente. Motivul principal pentru care este necesar acest pas este datorită abordării de tip "sac de cuvinte" ("bag of words") pe care o are algoritmul, însemnând că o propoziţie este reprezentată fără a se ţine cont de reguli de gramatică sau de ordinea cuvintelor [START_REF] Wiemer-Hastings | How latent is Latent Semantic Analysis?[END_REF].

În general, corpusul trebuie să conţină texte relevante și similare ca formă și structură subiectului analizei deoarece un corpus specific va conţine un procentaj mai mare de cuvinte relevante şi nu va irosi din "puterea sa de reprezentare" pe cuvinte care, cel mai probabil, nu vor exista în contextul aplicaţiei. În cadrul acestui proiect, am utilizat corpusul de ştiri Reuters [8].

Prin urmare, referitor la procesul iniţial de învăţare al algoritmului, fişierele originale au fost procesate pentru a respecta condiţiile de bază impuse de acesta. În primul rând, fiecare document trebuie să conţină între 50 şi 100 de cuvinte. Mai jos sunt regulile care s-au utilizat pentru divizarea fişierelor iniţiale:

• propoziţiile nu pot fi fragmentate;

• este recomandat ca fiecare paragraf să aparţină unui singur document. Dacă nu este posibil, se aplică prima regulă; • fiecare document ar trebui să fie împărţit în părţi aproximativ egale; • documentele iniţiale mai mici decât o limită sunt eliminate (limita de cuvinte < 50); • părţile rezultate din divizarea unui document care sunt mai mici decât 50 de cuvinte sunt combinate pentru a se îndeplini numărul minim de cuvinte. Documentele astfel obţinute sunt prelucrate astfel încât zgometele să fie eliminate (numere, semne de punctuaţie, separatori). În final, fiecare document conţine doar cuvinte cu litere mici (doar litere) separate prin spaţii (" ").

Evaluarea articolelor

Rezultatul final este calculat prin combinarea valorilor celor două metode (semantică şi lexicală). În primul rând conceptele din titlu sunt considerate a fi mai încărcate emoţional decât cele din conţinut, deci acestea au o pondere mai mare. Formula evaluării din perspectiva abordării lexicale este:

!"#!$%&$!!!!"! = * + 1 - * ț (1)
unde şi ț sunt o combinaţie a valorilor conceptelor cheie în care toate conceptele au ponderi egale.

Valoarea lui p a fost determinată experimental folosind mai multe iteraţii în intervalul [0,55; 0,9] cu un increment de 0,05. Prin aceste experimente s-a descoperit că valoarea 0,6 este cea care combină cel mai bine mesajul exprimat în titlu cu cel exprimat în conţinut.

Conţinutul unui articol este considerat a fi similar cu un text din setul de documente dacă depăşeşte un prag de 0,2 (similaritatea ia valori între -1 și 1). Pentru fiecare stare emoțională se calculează media aritmetică între valorile care îndeplinesc această condiţie. Pasul următor este reprezentat de normalizarea valorilor pentru a le încadra în intervalul [1; 9]. Rezultatul final este calculat folosind următoarea formulă, care a fost ponderată pentru a accentua valoarea obţinută din analiza conceptelor cheie în defavoarea rezultatelor din analiza semantică (aceasta fiind limitată intrinsec de abordarea de tip sac de cuvinte utilizata):

= * !"#!$%&$!!!!"! + (1 - ) !"#$"$%&'(")#" (2)
Valoarea lui p a fost determinată experimental testând valori tot din intervalul [0,55; 0,9]. Experimentele au determinat că p=0,65 determină combinarea cea mai favorabilă a valorilor asociate cuvintelor cheie cu a similarităţii semantice dintre ştiri şi documentele aferente stărilor emoţionale pure.

A DOUA ETAPĂ: ABORDAREA DEPENDENTĂ DE CONTEXT

Abordarea dependentă de context reprezintă o ajustare a valorilor obţinute în prima etapă a proiectului (independentă de context) şi este utilizată pentru personalizarea rezultatelor obţinute. Am pornit de la ideea că starea emoţională a unei persoane va fi influenţată diferit de o ştire depinzând de starea sa curentă şi de trăsăturile specifice asociate personalităţii sale. Spre exemplu, o persoană care este iniţial fericită şi citeşte o ştire tristă va fi mai puţin afectată şi deci mai puţin tristă decât o persoană care era iniţial tristă. Mai mult, efectele citirii unei ştiri depind şi de cât de aproape cititorul este din punct de vedere geografic de evenimentele prezentate.

Luând în considerare aceste observaţii, au fost introduse câteva elemente care evaluează aceste caracteristici. În primul rând, starea emoţională curentă este estimată prin evaluarea de către utilizator a unui set de 5 ştiri care sunt selectate astfel încât să fie cât mai similare cu ştirile care vor fi analizate automat de către aplicaţie. De asemenea, utilizatorul va trebui să completeze un chestionar referitor la locaţia sa geografică prezentă. Cele 5 ştiri din setul iniţial sunt determinate prin sortarea tuturor ştirilor din baza de date după similarităţile cu ştirile principale şi selectarea primelor 5 cele mai similare.

Pentru a evalua o ştire, utilizatorul are la dispoziţie 2 opţiuni pentru fiecare dintre dimensiuni. Aceste valori sunt combinate în funcţie de similaritatea dintre fiecare ştire de evaluat (din setul de 5) cu ştirile principale (din setul de 10), astfel încât cu cât similaritatea cu o ştire principală este mai mare, cu atât valoarea corespunzătoare ştirii de evaluat va avea o proporţie mai mare în rezultatul final.

Rezultatele obţinute în această etapă sunt combinate cu cele obţinute în etapa precedentă (independentă de context) în proporţii egale. Interfaţa grafică disponibilă utilizatorului a fost îmbogăţită fiind introduse opţiunile descrise mai sus. Toate cele 5 ştiri trebuie să fie evaluate pentru a se obţine cele mai exacte rezultate.

Figura 2. Interfaţa grafică pentru evaluarea iniţială a ştirilor

Locaţia curentă a utilizatorului este folosită pentru corectarea rezultatelor, urmărind idea că evenimentele care se desfăşoară în apropierea unei persoane au o probabilitatea mai mare de a-l afecta (influenţa). Pentru determinarea acesteia, se testează dacă conceptele din conţinutul ştirii se află pe continentul introdus de utilizator. În caz afirmativ, rezultatele sunt modificate astfel: valorile mai mari decât 5 (valoarea mediană a domeniului de definiţie) sunt crescute, iar cele mai mici sunt reduse şi mai mult.

Pentru testarea acestor aspect referitoare la locaţie am utilizat serviciul web GeoNames care oferă acces la o bază de date geografică ce conţine peste 8 milioane de denumiri de locaţii şi funcţii dintre ele, pentru a putea testa legăturile dintre ele. Pentru a valida rezultatele obţinute, valorile din prima şi a doua etapă a proiectului au fost comparate cu valori obţinute în urma unui sondaj care a inclus un număr de 10 participanţi (5 femei şi 5 bărbaţi) cu vârste cuprinse între 20 -25 de ani din domenii diverse (calculatoare, respectiv medical). Sondajul a conţinut 2 etape, fiecare având 5 ştiri pentru evaluarea iniţială (aşa cum a fost menţionat anterior aceste ştiri sunt selectate astfel încât să fie cât mai similare cu ştirile evaluate automat de aplicaţie) pentru a se determina starea emoţională curentă a participantului, o întrebare referitoare la poziţia sa geografică şi un alt set de 10 ştiri. Prin urmare setul de date a conţinut 20 de elemente din fluxul RSS (reprezentate de ştirile principale care sunt evaluate automat de aplicaţie). În Figura 5 sunt prezentate rezultatele sintetice obtinute in urma sondajului: Totuşi, există situaţii în care a doua abordare obţine rezultate mai inexacte în comparaţie cu sondajul (ce exprimă starea emoţională curentă a utilizatorului) şi faţă de cealaltă abordare. În afară de subiectivitatea ce apare atunci când o persoană evaluează propria sa stare emoţională, o posibilă explicaţie poate fi faptul că ştirile din chestionar nu au fost suficient de similare cu cele evaluate în mod automat de aplicaţie; astfel, în loc să ajusteze valorile din prima etapă pentru a fi mai aproape de realitate, algoritmul este indus în eroare şi le modifică incorect, determinând ca rezultatele finale să fie mai slabe decât cele obţinute în prima etapă. O posibilă soluţie la această problemă presupune îmbogăţirea bazei de ştiri cu mai multe texte pentru ca ştirile noi să fie evaluate în funcţie de ştiri cu un grad de similaritate mai mare.

REZULTATE

Cu toate că locaţia introduce un grad de precizie mai mare în cadrul analizei noastre, ne propunem să adăugăm şi alte elemente în versiunile viitoare ale sistemului: sex, vârstă şi alţi factori similari care pot fi utilizaţi pentru identificarea diferitelor categorii de utilizatori.

CONCLUZII

Scopul nostru a presupus dezvoltarea unei aplicaţii care evaluează modul în care este afectată starea emoţională a unei persoane după citirea unei ştiri. În esență abordarea utilizată a constat în 2 etape: una dependentă şi una independentă de context. Am utilizat tehnici de prelucrare a limbajului natural, din care cea principală a fost analiza semantică latentă. Rezultatele au fost validate prin compararea cu un sondaj şi acesta a demonstrat că putem considera metoda utilizată promiţătoare şi relevantă, întrun context în care subiectivitatea joacă un rol important. Totuşi există şi aspecte care pot fi îmbunătăţite, prin urmare plănuim să efectuăm o analiză mai amănunţită a textelor scrise şi să modelăm cât mai exact evoluţia stării emoţionale a unei persoane.

Drept direcții viitoare de cercetare plănuim să efectuăm sondaje mai complexe, cu un număr mai ridicat de fluxuri RSS şi un număr mai mare de persoane astfel încât feedback-ul obţinut să fie cât mai explicit și exact. Totodată îmbogăţirea corpusului de documente ce exprimă o stare emoţională pură şi includerea mai multor factori psihologici în modelul nostru adaptiv ar putea conduce la rezultate mai bune.

  Aşa cum a fost menţionat în secţiunile anterioare, sistemul proiectat a fost testat utilizând feed-uri RSS aparţinând CNN.com. Pentru a vizualiza rezultatele aplicaţiei, utilizatorul are la dispoziţie o fereastră care afişează o ştire şi 3 grafice ce exprimă cea mai probabilă stare emoţională indusă de ştire. Fiecare grafic este poziţionat între 2 reprezentări a câte o stare emoţională pură pentru o reprezentare cât mai sugestivă a rezultatelor. Figura 3 reprezintă o mostră a rezultatelor aplicaţiei.

Figura 3 .

 3 Figura 3. Interfaţa grafică reprezentând rezultatele aplicaţiei Pentru o reprezentare de ansamblu se poate genera şi următorul grafic radial corespunzător celor 3 dimensiuni. De exemplu, pornind de la valorile: fericit/trist = 4, încântat/plictisit = 7 şi controlat/în-control = 8 se obţine graficul din Figura 4.

Figura 4 .

 4 Figura 4. Exemplu de graf generat

Figura 5 .

 5 Figura 5. Valenţele Plăcere, Încântare, Dominanţă; P1 reprezintă abordarea independentă de context; P2 reprezintă abordarea dependentă de context Fiecare grafic este asociat uneia dintre cele 3 dimensiuni ale analizei (valenţele Plăcere, Încântare, Dominanţă). Axa verticală corespunde cu valorile efective (rezultatele) în intervalul [1; 9], iar axa orizontală reprezintă articolele de ştiri analizate, în număr de 20. Corelaţiile dintre cele 2

  5 ştiri. În experimentele efectuate, articolele de ştiri reprezintă intrarea principală şi sunt formate din titlu şi 2-3 fraze din Pentru testare am utilizat ştiri extrase din fluxurile RSS aparţinând CNN.com.

	corpul ştirii.
	BAZA DE
	CONCEPTE
	ANEW
	ÎMBOGĂŢITĂ
	SPAŢIU SEMANTIC LSA	EVALUARE	ESTIMAREA STĂRII
		SIMILARITATE SEMANTICĂ	EMOŢIONALE INDUSE
		(LSA)
	CORPUS DE
	STĂRI
	EMOŢIONALE	MINERITUL
	PURE	CONCEPTELO
		R CHEIE
			STARE
	ŞTIRI		EMOTIONALA PREZENTA

  Tabelul 1. Corelaţiile dintre rezultatele aplicaţiei vs. sondaj

		Plăcere	Încântare	Dominanţă	Media pe
					cele 3
					dimensiuni
	Sondaj-	0,55	0,48	0,61	0,55
	P1
	Sondaj	0,54	0,58	0,56	0,56
	-P2
	P1 -P2 0,86	0,91	0,96	0,91
	Aşa cum poate fi dedus din tabelul anterior, valenţa
	Plăcere obţine corelaţii proape egale între cele 2 abordări
	şi mediile corelaţiilor pe cele 3 dimensiuni sunt foarte
	similare. Dar, luând în considerare natura fiecărei
	dimensiuni, putem extrapola din experimentul efectuat că
	dimensiunea Încântare este mai dependentă de context, în
	sensul că poate varia mai mult decât celelate dimensiuni
	depinzând de stările emoţionale anterioare, în timp ce
	dimensiunea Dominanţă este mai mult influenţată de
	contextul actual şi de conţinutul ştirii. În plus, am obţinut
	corelaţii foarte mari între cele 2 abordări, ceea ce a fost
	anticipat datorită faptului că P2 rafinează rezultatele
	iniţiale (P1).