Версия для печати

Big Data: Spark, Hadoop, MongoDB

Technology

Компания First Line Software специализируется на внедрении, оптимизации и настройке кластеров, созданных на основе Hadoop, улучшении их рабочих характеристик, масштабируемости, а также повышении степени надежности. Наши инженеры и архитекторы ПО накопили огромный опыт в создании надежных распределенных систем с высокой степенью масштабируемости, способных хранить, обрабатывать и анализировать громадные объемы структурированных и неструктурированных данных.

Hadoop позволяет осуществлять параллельную обработку громадных объемов информации (масштаба петабайтов) в больших кластерах. Hadoop является одной из основных технологий для данной сферы деятельности. Hadoop интенсивно используется как лидерами отрасли (Orbitz, Chevron или eBay), так и небольшими организациями, работающими в различных сферах деятельности: электронной коммерции, энергетике, сетевой безопасности, здравоохранении и т.д.

ПРОГРАММНЫЕ РЕШЕНИЯ С ИСПОЛЬЗОВАНИЕМ HADOOP

First Line Software специализируется на внедрении, настройке и оптимизации кластеров на базе Hadoop для повышения производительности, масштабируемости и надежности. Специалисты компании First Line Software по NoSQL и работе с большими объемами данных способны поддерживать широкий спектр начинаний и проектов, включая:

  • Настройку недорогого хранилища данных с высокой степенью масштабируемости, работающего на платформе HBase, установленной на Hadoop (для обеспечения доступа к хранилищам данных Hadoop по методам баз данных или для транзакционных приложений высокого уровня), включая процессы миграции ETL.
  • Внедрение Hadoop Hive, инфраструктуры хранилища данных, непосредственно поверх Hadoop или в сочетании с HBase (если от конечной системы требуется небольшое время задержки отклика) для аналитических операций.
  • Внедрение специализированных процессов обработки MapReduce (с использованием Pig, Java, Python или R).
  • Внедрение мощной поисковой системы, создаваемой на основе сочетания Lucene/SOLR и Hadoop (мы накопили немалый опыт в использовании Lucene для морфологического анализа, обработки сложных слов и т.д.).
  • Внедрение систем интеллектуального анализа данных для хранилища информации на основе Hadoop, с использованием открытых программных инструментов, например, Pentaho или JasperReports.
  • Внедрение Mahout поверх Hadoop для обучаемых систем или систем сбора и анализа информации (к примеру, рекомендательные и классификационные сервисы).
  • Обработку больших объемов графических данных пригодится решение на основе Titan, транзакционной базы данных с высокой степенью масштабируемости, способной использовать HBase в качестве сервера хранилища данных.

В 2019 году First Line Software заключила партнерское соглашение с компанией Arenadata, которая обладает значительным опытом и экспертизой в области хранения и анализа данных. Их команда создала универсальную платформу с открытым исходным кодом для хранения и анализа данных - Arenadata Unified Data Platform - и распределенную базу данных с использованием принципа MPP (массивно-параллельной обработки) - Arenadata DB (ADB). Этот кластер основан на проверенной базе данных Greenplum и может использоваться в качестве ядра корпоративного хранилища данных. Технологии Hadoop являются неотъемлемой частью экосистемы Arenadata, при этом вся поддержка и непосредственно экспертиза доступна на русском языке. Кастомизация проверенных решений на базе технологического стека Hadoop помогает ускорить завершение проектов и снижает затраты для клиентов First Line. Arenadata обеспечивает полную техническую поддержку и несет ответственность за обновление платформы и базы данных с любыми изменениями в Hadoop.

ПРОГРАММНЫЕ РЕШЕНИЯ С ИСПОЛЬЗОВАНИЕМ MONGODB

MongoDB – это открытая база данных типа NoSQL, разработанная с учетом требований в крайне высокой производительности и бесконечной масштабируемости. Платформа MongoDB поддерживает документоориентированную модель данных, динамическую схему, полноценное индексирование, сверхбыстрое обновление с замещением, функциональные динамические запросы, встроенные функции сегментирования и автоматического восстановления после сбоя, а также GridFS и MapReduce.

MongoDB идеально подходит для реализации проектов, подразумевающих работу с очень большими объемами данных и/или высокие требования к масштабируемости, высокую производительность даже в тех случаях, когда информация слишком сложна и разнородна для моделирования с использованием реляционной схемы, или существует необходимость выполнения анализа в реальном времени.

Request documents

Leave us an email and we'll send instructions

Наши инженеры и архитекторы имеют большой опыт создания высоко масштабируемых, надежных распределенных систем.

Примеры проектов
Все проекты

Разработчик IIOT-решений выбирает .Net Core

Компания Tego со штаб-квартирой в Уолтеме, Массачусетс, предоставляющая IOT-сервисы для управления производственными активами, планировала модернизировать ИТ-инфраструктуру для быстрого масштабирования бизнеса. Инженеры First Line Software быстро и легко портировали приложения Tego с .NET Framework на .NET Core.

Подробнее

Высокопроизводительная система обработки оплаты покупок

Наш клиент, инновационный финансово-технологический стартап, создал концепцию системы, которая соединила бы миллионы терминалов торговых точек в торговых и других учреждениях по всей стране в одну облачную среду, которая позволила бы отслеживать, записывать, хранить, анализировать и визуализировать данные операций с наличными. Этот массив данных может использовать их для различных целей: финансовых, торговая аналитика, цифровой маркетинг и т.д.

Подробнее

Приложения для финансовой системы крупной бразильской IT-компании

Contmatic Phoenix - крупная бразильская компания, основанная в 1987 году. Специализируется на разработке административного и управленческого программного обеспечения, предоставляет передовые решения для бухгалтерского, налогового и управленческого учета.

Подробнее

ХОТИТЕ УЗНАТЬ БОЛЬШЕ?

Заполните форму, чтобы связаться с нами

Владимир Литошенко
Старший вице-президент