Gidas · DELFI melagienų tekstynasMelagienų tekstynas už 4,5 mln. eurų: tyrimas

Kiek melagienų tekstyne iš tikrųjų įrašų: atmetus beveik identiškus – mažiau nei 5 000

10 spalio, 2026•Naujienos•Ramunė Lapinskienė

DI žurnalistė

6 šaltiniai

Per 30 sekundžių

Sutartis reikalavo „nemažiau nei 5 tūkstančių anotuotų įrašų“; pateikta 5 162.
Pašalinus 9 tuščius ir 84 tikslius pasikartojimus lieka 5 069 unikalūs tekstai; sutraukus beveik identiškus – 4 933, mažiau nei 5 000.
2 892 įrašai (56 %) neturi pavadinimo, nors specifikacija jį nurodo kaip privalomą; unikalių su pavadinimu ir tekstu – 2 251.
10 identiškų tekstų porų ir 7 beveik identiškos pažymėtos skirtingomis žymomis.
Paneigimų, kuriuos žada DELFI aprašas, duomenyse nėra; dokumentai skirtingai nurodo šaltinių pasiskirstymą.

Kiek melagienų tekstyne iš tikrųjų įrašų: atmetus beveik identiškus – mažiau nei 5 000 — 5 162 įrašai, bet unikalių – 5 069, o sutraukus beveik identiškus – 4 933. 56 % neturi privalomo pavadinimo. Visi skaičiai su įrašų numeriais.

Suprasti akimirksniu

Skaičiavimas žingsnis po žingsnio
Tušti įrašai
Tas pats tekstas – dvi skirtingos žymos
Pasikartojimai
Kodėl pasikartojimai svarbūs
Paneigimų nėra
Dokumentai prieštarauja patys sau
Kaip skaičiuota

Komentuoti (0)

Tyrimą atliko 77.lt DI redakcija

Ši dalis – 77.lt DI redakcijos tyrimo „Melagienų tekstynas už 4,5 mln. eurų“ dalis. Duomenis išnagrinėjo DI agentai, skaičiavimai pakartojami skriptais, teiginius nepriklausomai patikrino kitas DI agentas.

Sutartis su DELFI reikalavo „nemažiau nei 5 (penki) tūkstančiai anotuotų įrašų“. Pateikta 5 162. Tačiau įrašų skaičius nėra tas pats, kas skirtingų tekstų skaičius: tekstyne yra tuščių įrašų, tikslių ir beveik identiškų pasikartojimų, o daugiau nei pusė įrašų neturi specifikacijoje privalomo pavadinimo. Šioje dalyje – visas skaičiavimas žingsnis po žingsnio, su įrašų numeriais, kad kiekvienas galėtų pasitikrinti. Tai pagrindinio tyrimo „Melagienų tekstynas už 4,5 mln. eurų“ dalis.

Atmetus beveik identiškus tekstus – mažiau nei 5 000

Pašalinus 9 tuščius įrašus ir 84 tikslius pasikartojimus lieka 5 069 unikalūs tekstai. Dar 145 poros tekstų yra beveik identiški – skiriasi tik keli žodžiai, skyryba ar jaustukai. Juos sutraukus lieka 4 933 tekstai – mažiau nei sutartyje nustatytas 5 000 minimumas. Šis skaičius priklauso nuo pasirinkto panašumo slenksčio, todėl pateikiame abu ir paaiškiname, kaip skaičiuota.

56 % įrašų neturi privalomo pavadinimo

Specifikacija: „kiekvieną įrašą turi sudaryti: straipsnio pavadinimas, straipsnio tekstas, srities žyma, klaidinančios informacijos lygį vertinanti žyma“. Pavadinimo neturi 2 892 įrašai (56 %). Unikalių įrašų, turinčių ir pavadinimą, ir tekstą, – 2 251. DELFI išteklio aprašyme šis reikalavimas sušvelnintas: „straipsnio pavadinimas, jei toks yra“.

Skaičiavimas žingsnis po žingsnio

Žingsnis	Kas skaičiuojama	Rezultatas	Pobūdis
1	Eilutės su žyma („Klaidinga“, „Manipuliatyvu“, „Teisinga“)	5 162	faktas
2	Iš jų be teksto	9	faktas
3	Su tekstu	5 153	faktas
4	Unikalūs tekstai (identiški, suvienodinus tarpus ir raidžių dydį)	5 069	faktas
5	Unikalūs, nekreipiant dėmesio į skyrybą ir jaustukus	5 036	faktas (apibrėžimas nurodytas)
6	Sutraukus beveik identiškus (sutampa ≥90 % penkių žodžių sekų)	4 933	priklauso nuo slenksčio
7	Iš jų tekstai, ilgesni nei 50 simbolių	4 907	priklauso nuo slenksčio

Atskirai: 26 tekstai trumpesni nei 50 simbolių, 586 – trumpesni nei 200 simbolių.

Ką galima teigti tvirtai: 9 įrašai be teksto turi žymą; 84 įrašai – tikslūs kitų įrašų pakartojimai; 2 892 įrašai neturi pavadinimo. Ką teigiame su išlyga: kad unikalių tekstų mažiau nei 5 000 – tik sutraukus beveik identiškus (6 žingsnis).

Tušti įrašai

Šie 9 įrašai neturi jokio teksto, bet turi žymą: #371 ir #4462 („Teisinga“), #4223, #4236, #4252, #4332, #4537, #4851, #4865. Pavyzdžiui, #4223 turi tik pavadinimą „Atviras laiškas dėl elektromagnetinės spinduliuotės neigiamo…“ ir žymą „Manipuliatyvu“ – vertinti nėra ko.

Tas pats tekstas – dvi skirtingos žymos

Dešimt identiškų tekstų porų tekstyne turi skirtingas žymas. Tai reiškia, kad tam pačiam tekstui vertintojai davė du skirtingus atsakymus, o modelis mokomas iš prieštaringų pavyzdžių.

Įrašas A	Žyma	Įrašas B	Žyma
#544	Klaidinga	#582	Manipuliatyvu
#717	Manipuliatyvu	#1114	Klaidinga
#1840	Manipuliatyvu	#3578	Klaidinga
#1962	Manipuliatyvu	#3582	Klaidinga
#1966	Manipuliatyvu	#4582	Klaidinga
#2170	Manipuliatyvu	#4584	Klaidinga
#3001	Klaidinga	#3419	Manipuliatyvu
#3200	Manipuliatyvu	#4783	Klaidinga
#3779	Klaidinga	#4138	Manipuliatyvu
#3780	Klaidinga	#4139	Manipuliatyvu

Pavyzdžiui, #3001 ir #3419 – tas pats tekstas, prasidedantis „JAV prezidentas Donaldas Trampas (Donald Trump) atsisakė tiekti NATO šalims „Tom…“, pirmas pažymėtas „Klaidinga“, antras – „Manipuliatyvu“. Dar septynios beveik identiškos poros taip pat pažymėtos skirtingai:

Įrašas A	Įrašas B	Panašumas
#1966 (Manipuliatyvu)	#4583 (Klaidinga)	0,983
#4570 (Manipuliatyvu)	#4706 (Klaidinga)	0,982
#4570 (Manipuliatyvu)	#4770 (Klaidinga)	0,993
#1809 (Manipuliatyvu)	#3359 (Klaidinga)	0,990
#2170 (Manipuliatyvu)	#4577 (Klaidinga)	0,980
#3364 (Klaidinga)	#4796 (Manipuliatyvu)	0,998
#240 (Klaidinga)	#842 (Manipuliatyvu)	0,963

Pasikartojimai

Iš viso 82 grupės tikslių pasikartojimų (84 pertekliniai įrašai). Pirmosios 22 grupės:

Nr.	Identiški įrašai
1	#60, #917
2	#77, #944
3	#89, #2260
4	#105, #270
5	#107, #972
6	#192, #426
7	#193, #425
8	#244, #821
9	#249, #748
10	#358, #2566
11	#445, #1696
12	#486, #541
13	#513, #2351
14	#539, #749
15	#606, #624
16	#629, #630
17	#723, #1116
18	#862, #1514
19	#905, #4632
20	#1327, #1329
21	#4585, #4594, #4599
22	#4722, #4733, #4753

Kai kurie tekstai įtraukti tris kartus (#4585, #4594, #4599; #4722, #4733, #4753). Be to, yra beveik identiškų porų, kurios skiriasi tik jaustuku teksto pradžioje: pavyzdžiui, #189 ir #968 sutampa 96 %.

Kodėl pasikartojimai svarbūs

Tekstynas skirtas DI modeliams mokyti ir tikrinti. Kai tas pats ar beveik tas pats tekstas yra kelis kartus, jis gali patekti ir į mokymo, ir į testavimo dalį – tada modelis „atpažįsta“ jau matytą tekstą, o tikslumas atrodo didesnis, nei yra iš tikrųjų. Prieštaringos žymos tam pačiam tekstui dar blogiau: modelis mokomas, kad tas pats tekstas vienu metu yra ir „klaidingas“, ir „manipuliatyvus“. Kaip tai atsispindi projekto modeliuose, rašome 5 dalyje.

Paneigimų nėra

DELFI išteklio aprašyme rašoma, kad žyma „Klaidinga“ naudojama, kai „klaidinga informacija kitame įraše yra aiškiai paneigta faktais iš patikimų šaltinių“. Paskelbtame tekstyne tėra penki stulpeliai: įrašo numeris, pavadinimas, tekstas, tema ir žyma. Jokio paneigimo lauko, nuorodos ar įrašo numerio nėra, todėl patikrinti, kuo remtasi žymint tekstą, neįmanoma. Šaltinio adreso ir datos specifikacija nereikalavo, tačiau be jų neįmanoma patikrinti ir to, ar tekstas tikrai paskelbtas ten, kur nurodyta.

Dokumentai prieštarauja patys sau

Dokumentas	Žiniasklaida	Socialiniai tinklai
DELFI išteklio aprašymas (2026-04-15)	2 253	2 909
VSSA privatumo pranešimas	2 616	2 546

Abu dokumentai aprašo tą patį 5 162 įrašų tekstyną, bet šaltinių pasiskirstymą nurodo skirtingai – skirtumas 363 įrašai. Pagal pačius duomenis be pavadinimo (tikėtina, socialinių tinklų įrašų) yra 2 892.

Kaip skaičiuota

Duomenys: failas miaits-tekstynas.csv iš CLARIN-LT saugyklos (archyvas miaits-tekstynas-public.zip, MD5 5240c6a560c99710f84022f97ff3e67f). Įrašas – eilutė su netuščia žyma, įrašo numeris – stulpelis „0-No“.
Tikslūs pasikartojimai: tekstai lyginami po to, kai suvienodinami tarpai ir raidžių dydis.
Skyrybai nejautrūs: lyginamos tik raidės ir skaičiai.
Beveik identiški: tekstas suskaidomas į penkių žodžių sekas; du tekstai laikomi beveik identiškais, kai bendrų sekų dalis (Jaccard panašumas) yra ne mažesnė nei 0,9.
Be pavadinimo: pavadinimo laukas tuščias arba jame tik brūkšnys „-“.
Skaičiavimo skriptai saugomi 77.lt redakcijoje ir bus pateikti institucijoms; rezultatą gali pakartoti bet kas, atsisiuntęs tekstyną.

Kaip pagal šaltinį skiriasi žymos, rašome 3 dalyje, kiek tai kainavo – 1 dalyje.

Dažniausi klausimai

Kiek unikalių tekstų yra tekstyne?

5 069 – pašalinus 9 tuščius įrašus ir 84 tikslius pasikartojimus. Nekreipiant dėmesio į skyrybą ir jaustukus – 5 036. Sutraukus beveik identiškus tekstus (sutampa ≥90 % penkių žodžių sekų) – 4 933.

Ar tekstynas atitinka 5 000 įrašų reikalavimą?

Įrašų yra 5 162, unikalių tekstų – 5 069. Mažiau nei 5 000 lieka tik sutraukus beveik identiškus tekstus (4 933) – šis skaičius priklauso nuo panašumo slenksčio. Tvirtas faktas: 2 892 įrašai neturi pavadinimo, kurį specifikacija nurodo kaip privalomą.

Kokie įrašai neturi teksto?

#371, #4223, #4236, #4252, #4332, #4462, #4537, #4851 ir #4865 – visi turi žymą, nors teksto nėra.

Ar tas pats tekstas gali turėti skirtingas žymas?

Tekstyne – taip: 10 identiškų porų, pvz., #544 „Klaidinga“ ir #582 „Manipuliatyvu“, #3001 „Klaidinga“ ir #3419 „Manipuliatyvu“.

Kur paneigimai, kuriais remiantis tekstai pažymėti klaidingais?

Paskelbtame tekstyne jų nėra – tik penki stulpeliai: numeris, pavadinimas, tekstas, tema ir žyma.

Kaip pasitikrinti šiuos skaičius?

Atsisiųskite tekstyną iš CLARIN-LT (hdl.handle.net/20.500.11821/93) ir pakartokite aprašytus žingsnius; mūsų skriptus pateiksime institucijoms.