Hướng Dẫn Setup Dự Án BigData_BTL

git clone https://github.com/BKM1804/big_data.git
cd bigdata_btl
mkdir -p ../storage/
mkdir -p ../storage/esdata
sudo chown -R 1000:1000 ../storage/esdata
sudo chmod -R 750 ../storage/esdata
docker compose up 
# sau khi tất cả các service đã setup thành công thực hiện
#mở tab terminal khác
cd big_data_new
# Tạo topic có tên là 'web-crawl'
docker exec -it kafka kafka-topics --create --topic web-crawl --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
# Kiểm tra các topic đã tạo
docker exec -it kafka kafka-topics --list --bootstrap-server localhost:9092
pip install -r ../requirements.txt
python3 spark_consumer_es_new.py
#tab terminal khác
cd llm_api
pip install -r requirements.txt
python3 rag_api.py
python3 sever_api.py

# run fe
cd bigdata_btl/frontend
streamlit run app.py