Проблема
Заказчик — компания ABC. Одним из аспектов деятельности заказчика является получение исходных данных от клиентов для последующей загрузки в базу данных и анализа. Клиенты предоставляют данные в виде текстовых файлов объемом в сотни мегабайт. Файлы с исходными данными, особенно на начальных этапах сотрудничества, зачастую содержат ошибки, иногда приводящие к полной невозможности использовать данный файл. До реализации проекта наличие и количество ошибок становилось известным только после окончания длительной процедуры загрузки файла в базу данных, что приводило к большому расходу времени и ухудшению обслуживания клиентов.
Решение
Было написано приложение, интегрированное в существующую инфраструктуру заказчика и позволяющее верифицировать соответствие загружаемых данных заданному формату на различных этапах загрузки.
Результаты
Приложение обеспечивает:
- веб интерфейс для редактирования форматов файлов;
- веб интерфейс для запуска и мониторинга процесса валидации данных;
- интерфейс командной строки для запуска и мониторинга процесса валидации данных - для облегчения интеграцию в инфраструктуру заказчика;
- интеграцию с третьесторонними BI-системами для анализа статистики по входным данным и генерации отчетов.
Технологии
- JDK 1.5.x
- Sun Java System Application Server 9 (Glass Fish 2)
- EJB
- JMS
- CXF
- Spring
- Hibernate
- Oracle 11g
- TestNG
- Maven
- Ant
