Bu yazıda cümle sonu tespiti problemini ve Nüve başta olmak üzere Türkçe için belli başlı cümle sonu tespit araçlarını (Zemberek, OpenNLP, ITU Pipeline) incelemeye çalıştım.

Doğal dil işleme ve metin analizi çalışmalarında zaman zaman metni cümlelerine ayırmaya (cümlelemeye) ihtiyaç duyulur. Literatürde bu probleme “cümle sonu tespiti” (sentence boundary detection) denir. Metindeki satırsonu karakterleri (newline, \n, \r) paragrafları birbirinden ayırır. Cümleleme işlemi paragraflar üzerinde yapılır. Bir paragraf bir ya da daha fazla cümleden oluşabilir.

Türkçe bir paragrafı cümlelerine ayırmak sanıldığından sanıldığı kadar kolay değildir. Zira nokta, ünlem, soru işareti gibi karakterler her zaman cümlenin sonunda gelmezler. Aşağıdaki rastgele cümlelerden oluşan paragrafa bir göz atalım. Karakterlerden cümle sonu olanlar yeşil olmayanlar ise kırmızı ile işaretlenmiştir.
Uluslar, bu ekonomik buhran sonucunda 2. Dünya Savaşı’nı yaşamıştır. Bu sezon kaybedilen maç sayısı 2. Dünya Kupası’na katılma şansı azalıyor. Cumhuriyetimizin 75. yılı coşkuyla kutlandı. Tahta çıkan IV. Murat emirler yağdırdı. Uzun zamandır çalışan Ahmet koşuda 2. uzun atlamada ise ancak 4. olabildi. A. Mehmet YILDIZ size uğradı. Alfabenin ilk harfi A. Mehmet’e bunu öğretmeniz gerekiyor. Genel Müdür Mehmet Bey her fırsatta muhteşem! faaliyetlerini anlatıyor. Devlet içinde devlet olmuşlar, devlet adına çalışıyorlar, devlet adamlarıyla ahbap çavuşlar.. şu, bu! Cumartesi akşam 5 p.m.’de geldi. www.cs.hun.edu.tr okulumuzun web sitesidir. E-posta adresi [email protected].deu.edu.tr'dir. Prof. Dr. Ahmet Bey ile görüsecegiz. Daha sonra Arş. Gör. Özlem hanım da katılacak bize.  Enflasyonda 1.6 oranında artıs var.

Şimdi paragrafın farklı araçlar tarafından nasıl cümlelendiğini inceleyelim.

Zemberek

Zemberek’i Java projenize burada anlatıldığı gibi ekleyebilirsiniz. Cümleleme kullanımı için kod örneği ise burada mevcut.  Zemberek paragrafımızı şu şekilde cümleledi. (Kaçırılanlar kırmızı, yanlış alarmlar ise pembe ile belirtildi ):

Uluslar, bu ekonomik buhran sonucunda 2. Dünya Savaşı’nı yaşamıştır.
Bu sezon kaybedilen maç sayısı 2.(kaçırıldı) Dünya Kupası’na katılma şansı azalıyor.
Cumhuriyetimizin 75. yılı coşkuyla kutlandı.
Tahta çıkan IV. Murat emirler yağdırdı.
Uzun zamandır çalışan Ahmet koşuda 2. uzun atlamada ise ancak 4. olabildi.
A. Mehmet YILDIZ size uğradı.
Alfabenin ilk harfi A. (kaçırıldı) Mehmet’e bunu öğretmeniz gerekiyor.
Genel Müdür Mehmet Bey her fırsatta muhteşem! (yanlış alarm)
faaliyetlerini anlatıyor.
Devlet içinde devlet olmuşlar, devlet adına çalışıyorlar, devlet adamlarıyla ahbap çavuşlar.
. (yanlış alarm)
şu, bu!
Cumartesi akşam 5 p. (yanlış alarm)
m. (yanlış alarm)
’de geldi.
www. (yanlış alarm)
cs. (yanlış alarm)
hun. (yanlış alarm)
edu. (yanlış alarm)
tr okulumuzun web sitesidir.
E-posta adresi [email protected]. (yanlış alarm)
deu. (yanlış alarm)
edu. (yanlış alarm)
tr'dir.
Prof. Dr. Ahmet Bey ile görüsecegiz.
Daha sonra Arş. (yanlış alarm)
Gör. (yanlış alarm)
Özlem hanım da katılacak bize.
Enflasyonda 1.6 oranında artıs var.

Zemberek’in cümleleme modülü kural tabanlı çalışıyor. Sonuçlardan anladığım kadarıyla URL ve e-posta adresleri hesaba katılmamış.

Apache OpenNLP

OpenNLP’nin  yapay öğrenme yöntemleri ile cümleleme yaptığını hatırlatalım. Aracı Türkçeye uygun olarak eğitmek için elimizde yeteli miktarda manuel olarak cümlelenmiş Türkçe paragraf olması gerekiyor.  Ben maalesef böyle bir veri bulamadım. Bu nedenle aşağıdaki paragrafı burada anlatıldığı gibi, İngilizce için eğitilmiş OpenNlp ile cümlelettim.

Uluslar, bu ekonomik buhran sonucunda 2. Dünya Savaşı’nı yaşamıştır.
Bu sezon kaybedilen maç sayısı 2.(kaçırıldı) Dünya Kupası’na katılma şansı azalıyor.
Cumhuriyetimizin 75.(yanlış alarm)
yılı coşkuyla kutlandı.
Tahta çıkan IV.(yanlış alarm)
Murat emirler yağdırdı.
Uzun zamandır çalışan Ahmet koşuda 2. uzun atlamada ise ancak 4. olabildi.
A. Mehmet YILDIZ size uğradı.
Alfabenin ilk harfi A.(kaçırıldı) Mehmet’e bunu öğretmeniz gerekiyor.
Genel Müdür Mehmet Bey her fırsatta muhteşem!(yanlış alarm)
faaliyetlerini anlatıyor.
Devlet içinde devlet olmuşlar, devlet adına çalışıyorlar, devlet adamlarıyla ahbap çavuşlar.. şu, bu!(kaçırıldı)Cumartesi akşam 5 p.m.’de geldi.
www.cs.hun.edu.tr(yanlış alarm)
okulumuzun web sitesidir.
E-posta adresi [email protected]'dir.
Prof. Dr. Ahmet Bey ile görüsecegiz.
Daha sonra Arş.(yanlış alarm)
Gör.(yanlış alarm)
Özlem hanım da katılacak bize.
Enflasyonda 1.6 oranında artıs var.

İngilizce için eğitilmiş olmasına rağmen sonuçlar

Nüve

Nüve ile ilgili ayrıntılı bilgiye buradan erişebilirsiniz. C# projenize nasıl ekleyebileceğinizi ve kod örneklerini ise bu sayfadan görebilirsiniz.

Uluslar, bu ekonomik buhran sonucunda 2. Dünya Savaşı’nı yaşamıştır.
Bu sezon kaybedilen maç sayısı 2.(kaçırıldı) Dünya Kupası’na katılma şansı azalıyor.
Cumhuriyetimizin 75. yılı coşkuyla kutlandı.
Tahta çıkan IV. Murat emirler yağdırdı.
Uzun zamandır çalışan Ahmet koşuda 2. uzun atlamada ise ancak 4. olabildi.
A. Mehmet YILDIZ size uğradı.
Alfabenin ilk harfi A.(kaçırıldı)Mehmet’e bunu öğretmeniz gerekiyor.
Genel Müdür Mehmet Bey her fırsatta muhteşem!(yanlış alarm)
faaliyetlerini anlatıyor.
Devlet içinde devlet olmuşlar, devlet adına çalışıyorlar, devlet adamlarıyla ahbap çavuşlar.. şu, bu!
Cumartesi akşam 5 p.m.(yanlış alarm)
’de geldi.
www.cs.hun.edu.tr okulumuzun web sitesidir.
E-posta adresi [email protected]'dir.
Prof. Dr. Ahmet Bey ile görüsecegiz.
Daha sonra Arş. Gör. Özlem hanım da katılacak bize.
Enflasyonda 1.6 oranında artıs var.

Mükemmel değil ama iş görür 🙂

ITU Pipeline

İncelenen araçlar arasında açık kaynak olmayan tek araç. Dışarıdan erişim için bir web API‘si mevcut ancak şifre talep etmeniz gerekiyor. Deneme amaçlı olarak ise web arayüzünden kullanabilirsiniz.

Uluslar, bu ekonomik buhran sonucunda 2. Dünya Savaşı’nı yaşamıştır.
Bu sezon kaybedilen maç sayısı 2.
Dünya Kupası’na katılma şansı azalıyor.
Cumhuriyetimizin 75. yılı coşkuyla kutlandı.
Tahta çıkan IV. Murat emirler yağdırdı.
Uzun zamandır çalışan Ahmet koşuda 2. uzun atlamada ise ancak 4.(yanlış alarm)
olabildi.
A. Mehmet YILDIZ size uğradı.
Alfabenin ilk harfi A.(kaçırıldı)Mehmet’e bunu öğretmeniz gerekiyor.
Genel Müdür Mehmet Bey her fırsatta muhteşem! faaliyetlerini anlatıyor.
Devlet içinde devlet olmuşlar,(yanlış alarm)
devlet adına çalışıyorlar,(yanlış alarm)
devlet adamlarıyla ahbap çavuşlar.. şu, bu!(kaçırıldı) Cumartesi akşam 5 p.m.’de geldi.
www.cs.hun.edu.tr okulumuzun web sitesidir. (kaçırıldı)E-posta adresi [email protected]'dir.
Prof. Dr. Ahmet Bey ile görüsecegiz.
Daha sonra Arş. Gör.(yanlış alarm)
Özlem hanım da katılacak(yanlış alarm)
bize. Enflasyonda 1.6 oranında artıs var.

Görebildiğim kadarıyla İTU Pipeline cümleleri noktalama işaretlerinden ziyade yüklemlere göre belirleme eğiliminde. Bu dil kuralları açısından doğru bir yaklaşım aslında. Mesela “Geldim, gördüm ve gidiyorum.” cümlesini bir Türkçeciye tahlil ettirseniz burada aslında üç cümlenin olduğundan bahseder. Bu nedenle bunu bir hatadan çok bir yaklaşım farklı olarak görmek gerek.

Sonuç olarak bu incelemede kullanılan paragrafın biraz zorlu olduğunu kabul edersek 4 aracında normal metinlerde %90’ın üzerinde bir başarımla çalışacağını söyleyebiliriz.

Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInPrint this pageEmail this to someone