Benutzer:Rhingdrache/Moses
| Rhingdrache/Moses | |
|---|---|
| Basisdaten
| |
| Aktuelle Version | 3.0 (4. Februar 2015) |
| Betriebssystem | Linux, (plattformunabhängig) |
| Programmiersprache | C++, Perl |
| Kategorie | Maschinelle Übersetzung |
| Lizenz | LGPL |
| deutschsprachig | nein |
| /www.statmt.org/moses/ | |
Moses ist ein von Philipp Koehn entwickeltes modulares System zur statistischen Maschinellen Übersetzung. Es ist unter LGPL lizensiert und für Linux optimiert. Trainiert wird Moses mit einem Parallelkorpus (zweisprachiger, alignierter Textkorpus). Wichtigster Unterstützer der Entwicklung ist das von der Europäischen Kommission finanzierte EuroMatrix-Projekt.
Aufbau
[Bearbeiten | Quelltext bearbeiten]Among its features are:
- A beam search algorithm that quickly finds the highest probability translation within a number of choices
- Phrase-based translation of short text chunks
- Handles words with multiple factored representations to enable the integration of linguistic and other information (e.g., surface form, lemma and morphology, part-of-speech, word class)
- Decodes ambiguous forms of a source sentence, represented as a confusion network, to support integration with upstream tools such as speech recognizers
- Support for large language models (LMs) such as IRSTLM (an exact LM using memory-mapping) and RandLM (an inexact LM based on Bloom filters)
MosesCore
[Bearbeiten | Quelltext bearbeiten]Historie
[Bearbeiten | Quelltext bearbeiten]2004 Im Rahmen seiner PhD-Thesis entwickelt Philipp Koehn einen auf einem Beam Search-Algorithmus aufgebauten Dekoder zur phrasenbasierten maschinellen Übersetzung mit dem Namen Pharaoh. [1]
2005 Hieu Hoang startet Moses als Nachfolger von Pharaoh unter Leitung von Philipp Koehn.
2006 Moses wird im Rahmen des JHU Summer Workshop weiter entwickelt.
2006 Start des EU-Projekts EuroMatrix, das die Entwicklung von Moses unterstützt.
2007 Erster Machine Translation Marathon in Edinburgh.
2009 Moses wird vom EU-Projekt EuromatrixPlus (Nachfolgeprojekt zu EuroMatrix) unterstützt.
2010 Moses unterstützt hierarchische und syntaxbasierte Models.
2011 Moses wird von Sourceforge nach Github migriert.
2012 Das EU-Projekt MosesCore wird zur kontinuierlichen Unterstützung der Entwicklung von Moses gestartet.
2013 Die Version 1.0 erscheint.
2014 Die Version 2.1 erscheint. Das Moses Framework wurde erheblich erweitert und neue Feature Functions eingefügt.[2]
2015 Die Version 3.0 erscheint. Vor allem die Performanz wurde deutlich gesteigert.[3]
2016 Der Moses2-Dekoder erscheint. Der Dekoder kann als Ersatz für den alten Moses-Dekoder verwendet werden und ist optimiert auf Geschwindigkeit.[4]
Literatur
[Bearbeiten | Quelltext bearbeiten]- "Pharaoh: a Beam Search Decoder for Phrase-Based Statistical Machine Translation Models". In: Conference of the Association for Machine Translation in the Americas. S. 115-124. Springer. Berlin, Heidelberg. 2004. online
- Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondrej Bojar, Alexandra Constantin, Evan Herbst. "Moses: Open Source Toolkit for Statistical Machine Translation". In: Final Report of the 2006 JHU Summer Workshop. S. 177-180. Association for Computational Linguistics. Prag. 2007. online