Moloch е система, която предоставя инструменти за визуална оценка на потоците от трафик и търсене на информация, свързана с мрежовата активност. Проектът е създаден през 2012 г. с цел създаване на отворен заместител на платформа за търговия обработка на мрежови пакети, която може да се мащабира до нивото на трафика на AOL.
Въвеждането на новата система в AOL им позволи да постигнат пълен контрол над инфраструктурата, като ги разположат на своите сървъри и значително намалят разходите.
Използването на Moloch за пълно улавяне на трафик във всички AOL мрежи струва същата сума, както при използване на търговско решение, което преди това е прекарало улавяне на трафик в една мрежа. Системата може да се мащабира, за да обработва трафика със скорости от десетки гигабита в секунда. Количеството съхранени данни е ограничено само от размера на наличния дисков масив. Метаданните на сесията се индексират в клъстер, базиран на двигателя Elasticsearch.
За Молох
Moloch включва инструменти за улавяне и индексиране на трафика във формат PCAP нормално, както и за бърз достъп до индексирани данни.
За анализ на натрупаната информация се предлага уеб интерфейс което позволява сърфиране, търсене и експортиране на мостри. Също осигурен е API, който ви позволява да прехвърляте данни за заловени пакети във формат PCAP и анализирани сесии във формат JSON на приложения на трети страни. Използването на PCAP формата значително опростява интеграцията със съществуващите анализатори на трафика като Wireshark.
Достъпът до Moloch е защитен чрез използване на HTTPS със силни пароли или чрез използване на прокси сървър за удостоверяване, предоставен от уеб сървъра. Всички PCAP се съхраняват в сензорите и са достъпни само чрез интерфейса Moloch или API. Moloch не е предназначен да замени IDS, но работи заедно с тях, за да съхранява и индексира целия мрежов трафик в стандартен PCAP формат, като осигурява бърз достъп.
Молох Състои се от три основни компонента:
- Система за улавяне на трафика: многонишко приложение на езика C за наблюдение на трафика, записване на PCAP сметища на диск, анализиране на заловени пакети и изпращане на метаданни за сесии (SPI, проверка на пакети с държавно състояние) и протоколи към клъстера Elasticsearch PCAP файловете могат да се съхраняват в криптирана форма.
- Уеб интерфейс, базиран на платформата Node.js, който работи на всеки сървър за улавяне на трафик и обработва заявки, свързани с достъп до индексирани данни и прехвърляне на PCAP файлове чрез базата данни на Elasticsearch и метаданни API.
- Уеб интерфейсът осигурява различни режими на показванеОт обща статистика, карти на връзките и визуални графики с данни за промени в мрежовата активност до инструменти за изучаване на отделни сесии, анализ на активност по протокол и анализ на данни от PCAP сметища.
Кодът е написан на език C (интерфейс Node.js / JavaScript) и се разпространява под лиценза Apache 2.0. Поддържа се работа на Linux и FreeBSD. Готовите за използване пакети са подготвени за различни версии на CentOS и Ubuntu.
Как да инсталирам Moloch на Linux?
По подразбиране се предлагат пакети, създадени за Ubuntu и CentOS, които можем да получим от официалния уебсайт на проекта.
В случай на тези, които използват Ubuntu, те могат да получат пакета, като напишат някоя от следните команди.
За Ubuntu 16.04 LTS:
wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-16.04/moloch_2.3.0-1_amd64.deb
За Ubuntu 18.04 LTS:
wget https://s3.amazonaws.com/files.molo.ch/builds/ubuntu-18.04/moloch_2.3.0-1_amd64.deb
За да инсталирате, просто напишете:
sudo apt install ./moloch*.deb
В случая с тези, които са потребители на CentOS, наличните пакети могат да бъдат получени чрез въвеждане.
CentOS 6
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-6/moloch-2.3.0-1.x86_64.rpm
CentOS 7
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-7/moloch-2.3.0-1.x86_64.rpm
CentOS 8
wget https://s3.amazonaws.com/files.molo.ch/builds/centos-8/moloch-2.3.0-1.x86_64.rpm
За да инсталирате, просто напишете:
sudo rpm install moloch*.rpm
За случая с други дистрибуции компилацията може да се направи, като напишете:
git clone https://github.com/aol/moloch ./easybutton-build.sh --install make config
И накрая за конфигурацията, можете да се консултирате wiki от връзката по-долу.