Accuracy of Neural Translation Models: a Case Study

Abstract

The paper provides an insight into the level of accuracy of neural translation models employed by five translation systems: Google Translate, Microsoft Translate, ModernMT, SYSTRAN, and DeepL. It is presented as a case study based on the results the aforementioned systems give for fifteen unique lexical units in the same context (English–Ukrainian pair). The study determines the prevalence of the Transformer as a major component of neural translation models. Furthermore, it defines the ground for categorising the analysed translation engines by their orientation, either on resource efficiency or emphasis on translation quality. Comparing the results of five translation systems (Google Translate, Microsoft Translate, ModernMT, SYSTRAN, and DeepL) for 15 sentences from domain-specific terms made it possible to determine the efficiency of their translation. As a result, resource-efficient models brought sufficiently positive outcomes, missing the context only rarely, while translation-quality models provided unique approaches to rendering the domain-specific terms. The paper highlights the resource efficiency of Google Translate and Microsoft Translate: the former utilising the Pathways model to enhance versatility and the latter employing the Marian MT engine to reduce costs of deployment and upkeep. Also, the research states the scarcity of information about the DeepL translation model, noting that it can be based on the Transformer.У статті розглянуто рівень точності роботи нейронних перекладацьких моделей, що використовуються у таких п’ятьох системах, як Google Translate, Microsoft Translate, ModernMT, SYSTRAN і DeepL. Розвідку представлено у вигляді кейс стаді за результатами опрацювання вищезазначеними системами п’ятнадцяти окремих лексичних одиниць в однаковому контексті (англо-українська пара мов). У дослідженні визначено перевагу системи Transformer як основного компонента нейронних перекладацьких моделей. Більше того, у статті визначено підстави для розподілу проаналізованих систем машинного перекладу залежно від їхньої орієнтації на ресурсо-ефективні та орієнтовані на якість перекладу. Порівняння результатів відтворення п’ятьма перекладацькими системами (Google Translate, Microsoft Translate, ModernMT, SYSTRAN, and DeepL) п’ятнадцяти речень із вузькоспеціалізованими термінами уможливило визначення ефективності роботи зазначених систем. Відтак, з’ясовано, що ресурсо-ефективні моделі генерують достатню якість перекладу з поодинокими помилками інтерпретації контексту, у той час як моделі, орієнтовані на якість перекладу, продемонстрували унікальний підхід до відтворення галузево-специфічних термінів. У статті підкреслено ресурсо-ефективність систем Google Translate та Microsoft Translate: перша застосовує модель Pathways для забезпечення універсальності, тоді як друга використовує Marian MT, щоб знизити витрати на створення та підтримання роботи системи. У розвідці також зауважено про недостатність інформації щодо перекладацької моделі, яка використовується у DeepL, припускаючи можливість її базування на Transformer.