Помощь в учёбе, очень быстро...
Работаем вместе до победы

Тюнинг. 
Исследование параметров сегментации при статистическом машинном переводе с арабского на русский язык

РефератПомощь в написанииУзнать стоимостьмоей работы

Также, интерес представляют некоторые идеи усовершенствования алгоритм MERT. К примеру, в исследовании предлагается использовать усредненные значения BLEUScore на некоторых отрезках для сглаживания кривой. Также предпринимаются попытки адаптировать симплекс-метод (метод Нелдера-Мида), сформулированный в. Онлайн-тюнинг отличается от пакетного тем, что пересчет весов для линейной модели… Читать ещё >

Тюнинг. Исследование параметров сегментации при статистическом машинном переводе с арабского на русский язык (реферат, курсовая, диплом, контрольная)

Во время декодинга Moses рассчитывает вероятности перевода, используя линейную модель. Как правило, в модель включаются вероятности перевода, перестановок и языковой модели, а также частотность слова, фразы или правила. Тюнинг — процесс, позволяющий найти оптимальные веса для этих линейных моделей. При этом, оптимальные веса высчитываются как веса, позволяющие максимизировать результат на небольшом параллельном корпусе (тюнинговом сете). Качество перевода оценивается с помощью одной из автоматических метрик: чаще всего это BLEUScore, но иногда могут применятсья и другие показатели, такие как TER, PER, CDER и другие.

Стоит отметить, что существует два основных подхода к тюнингу: пакетный тюнинга и онлайн-тюнинг. Основная идея пакетного тюнинга состоит в том, что весь переводится сразу весь корпус на исходном языке, причем в таких случаях обычно формируется n-лучший список. После этого, веса обновляются в соответствии с результатами получившихся переводов. Этот процесс итеративно повторятется до схождения по заранее выбранному критерию.

Опцией по умолчанию в Moses является алгоритм MERT (Minimum error rate training), описанный в [Och, 2003] и, кроме того, подробно проанализированный в [Moore, Quirk 2008] - один из наиболее популярных алгоритм тюнинга. Его ограничением является то, что он не поддерживает использование более 20−30 признаков для тюнинга.

Также, интерес представляют некоторые идеи усовершенствования алгоритм MERT. К примеру, в исследовании [Cer, Jurafsky, Manning 2008] предлагается использовать усредненные значения BLEUScore на некоторых отрезках для сглаживания кривой. Также предпринимаются попытки адаптировать симплекс-метод (метод Нелдера-Мида), сформулированный в [Nelder, Mead 1965].

Помимо этого, обращают на себя внимание идеи увеличения тюнинговых сетов с помощью использования парафраза, изложенные в [Madnani et al. 2007].

Онлайн-тюнинг отличается от пакетного тем, что пересчет весов для линейной модели осуществляется каждый раз при переходе от одной строки к другой. Такой подход предполагает более тесную интеграцию с декодером. Алгоритм может проходить через тюнинговый сет несолько раз.

Показать весь текст
Заполнить форму текущей работой