Новую технологию поиска информации представила корпорация Microsoft
Специалисты корпорации Microsoft сообщили о том, что ими разработан новый механизм быстрой сортировки больших объемов данных, способный обеспечить быстрый поиск информации среди тысяч гигабайт данных.
Новая технология именуется Flat Datacenter Storage (FDS), в ближайшем будущем она должна быть интегрирована в собственный поисковый сервис корпорации Microsoft Bing и некоторые СУБД, поставляемых корпорацией корпоративным клиентам, обеспечивающие процессинг данных.
Повышение общей производительности при работе с большими объемами данных является важной задачей не только для Microsoft, но и для множества отраслей бизнеса. При использовании FDS почти все проблемы с поиском информации среди огромных объемов данных могут быть решены,- это приведет к сокращению временных затрат и, следовательно, ускорению бизнес-процессов.
По информации от самой Microsoft, новая технология была протестирована при помощи набора MinuteSoft. Производительность процессинга информации составила 1401 гигабайт-мин, что почти втрое выше аналога от Yahoo, где аналогичный показатель составляет всего 500 гигабайт/мин.
Помимо повышения общей производительности Microsoft сократила и количество задействованных ресурсов: если в случае с Yahoo при эталонном тестировании использовались 1406 серверов и 5624 жестких диска, то у Microsoft было задействовано 250 серверов и лишь 1033 диска.
Относительно технических подробностей Microsoft сообщает лишь то, что в ее новой технологии используется несколько иной подход к сортировке данных, чем в Google MapReduce или же Apache Hadoop. В FDS большую часть процессинга данных выполняет отдельно взятый сервер, а у конкурентов работают специально созданные «сортировочные» кластеры, обрабатывающие лишь определенные сегменты информационного поля, общая информация хранится на центральном узле.
При использовании FSD значительно снижается сетевой трафик, а каждый отдельно взятый сервер обрабатывает до 2 гигабайт данных в секунду.
