Методологическая основа и опыт применения data mining методов в торговле

В статье исследован процесс data mining для получения полезной информации из данных. Рассмотрена возможность использования данных методов на практике в финансовой сфере. Поскольку финансовая деятельность тесно связана с социальной жизнью, использование data mining методов играет важную роль в анализе и прогнозировании финансового рынка в современную эпоху больших данных. Однако из-за различий в опыте исследователей разных дисциплин непросто использовать data mining методы при анализе финансовых данных. Поэтому создание методологической базы для практического применения data mining методов при анализе финансовых данных является актуальным вопросом. Цель данной статьи — создать методологическую базу для использования data mining методов для эффективной торговли. При обработке данных о продукте использовались априорные методы и методы визуализации, а также описывалась их реализация на практике. В результате были созданы сценарии компьютерных приложений как образец практической реализации алгоритмов этих методов. Построение количественной торговой стратегии требует сначала статистического анализа информации на рынке, а затем тестирования количественной модели на собранных данных. В этом исследовании была разработана количественная торговая система, основанная на data mining методах. В качестве основного инструмента разработки используется веб-платформа Jupyter, и были разработаны 3 ядра: отбор количественных данных, тестирование стратегии на данных, анализ временных рядов и визуализация. Разработанная система поддерживает модули для принятия простых торговых решений.

1. Aggarwal, C. C., & Han, J. (2014). Frequent Pattern Mining. International Publishing Switzerland. Springer.

2. Ahmed, S. R. (2004). Applications of data mining in retail business. In International Conference on Information Technology: Coding and Computing, 2004. Proceedings. ITCC 2004. (Vol. 2, pp. 455-459). IEEE. https://doi.org/10.1109/ITCC.2004.1286695

3. Borodin, A., Panaedova, G., Frumina, S., Kairbekuly, A., & Shchegolevatykh, N. (2021). Modeling the business environment of an energy holding in the formation of a financial strategy. Energies, 14(23), 8107-8125. https://doi.org/10.3390/en14238107

4. Desai, B., & Ramageri, B. (2013). Role of data mining in retail sector. International Journal on Computer Science and Engineering, 5(1), 47-50.

5. Han, J., Kamber, M., & Pei, J. (2011). Data mining: concepts and techniques. Third edition, Elsevier.

6. Hand, D., Mannila, H., & Smyth, P. (2001). Principles of Data Mining. The MIT Press, Massachusetts Institute of Technology.

7. Hand, D. J. (2009). Mining the past to determine the future: Problems and possibilities. International Journal of Forecasting, 25(3), 441–451. https://doi.org/10.1016/j.ijforecast.2008.09.004

8. Kashwan, K. R., & Velu, C. M. (2013). Customer Segmentation Using Clustering and Data Mining Techniques. International Journal of Computer Theory and Engineering, 5(6), 856-861. https://doi.org/10.7763/IJCTE.2013.V5.811

9. Krishnamoorthy, M., & Karthikeyan, R. (2022). Pattern mining algorithms for data streams using itemset. Measurement: Sensors. 24, 100421-100430. https://doi.org/10.1016/j.measen.2022.100421

10. Li, B., Ma, Z., & Wang, T. (2021). Find trade patterns in Сhina’s stock markets using data mining agents. Studies in Computational Intelligence, 897, 171-179. https://doi.org/10.1007/978-3-030-49728-6_11

11. Li, Q., Li, S., Zhang, S., Hu, J., & Hu, J. (2019). A Review of Text Corpus-Based Tourism Big Data Mining. Applied Sciences, 9(16), 3300. https://doi.org/10.3390/app9163300

12. Liu, Y., Cao, J., & Zhang, Q. (2022). The product marketing model of the economic zone by the sensor big data mining algorithm. Sustainable Computing: Informatics and Systems, 36, 100820. https://doi.org/10.1016/j.suscom.2022.100820

13. Ma, T., Fraser-Mackenzie, P.A.F., Sung, M., Kansara, A.P., & Johnson J.E.V. (2022). Are the least successful traders those most likely to exit the market? A survival analysis contribution to the efficient market debate. European Journal of Operational Research, 299 (1), 330-345. https://doi.org/10.1016/j.ejor.2021.08.050

14. Mikalef, P., Pappas, I.O., Krogstie, J., & Giannakos, M. (2018). Big Data Analytics Capabilities: A Systematic Literature Review and Research Agenda. Information Systems and e-Business Management, 16, 547–578. https://doi.org/10.1007/s10257-017-0362-y

15. Nielsen, F. A. (2015). Data Mining with Python (Working draft). [cited March 30, 2023]. Available at: https://www.webpages.uidaho.edu/~stevel/504/Data%20Mining%20with%20Python.pdf

16. Nussbaumer, K. C. (2015). Storytelling with data: a data visualization guide for business professionals. Wiley Publishing inc.

17. Pandin, C. R. M., & Fahrudin, R. (2019). Application of data mining for Indonesian products export in South Korea using clustering: Indonesia Trade Promotion Center Busan. IOP Conference Series: Materials Science and Engineering, 662(2), 022053. https://doi.org/10.1088/1757-899X/662/2/022053

18. Shu, X., & Ye, Y. (2022). Knowledge Discovery: Methods from data mining and machine learning. Social Science Research, 110, 102817. https://doi.org/10.1016/j.ssresearch.2022.102817

19. Srividya, K., Sowjanya, A. M., & Kumar, T. A. (2017). Sentiment Analysis of Facebook Data Using Naïve Bayes Classifier. International Journal of Computer Science and Information Security, 15 (1), 179–186.

20. Singh, S., & Yassine, A. (2018). Big Data Mining of Energy Time Series for Behavioral Analytics and Energy Consumption Forecasting. Energies, 11(2), 452- 478. https://doi.org/10.3390/en11020452

21. Sun, L. (2022). Research on Mining Balanced Competition Strategy in Financial Market Based on Computer Data Mining Method. Mobile Information Systems, 6202890. https://doi.org/10.1155/2022/6202890

22. Vercellis, C. (2015). Business intelligence: data mining and optimization for decision making. Wiley Publishing inc.

23. van Nguyen, T., Zhou, L., Chong, A. Y. L., Li, B., & Pu, X. (2020). Predicting customer demand for remanufactured products: A data-mining approach. European Journal of Operational Research, 281(3), 543- 558. https://doi.org/10.1016/j.ejor.2019.08.015

24. Wang, F., Li, M., Mei, Y., & Li, W. (2020). Time Series Data Mining: A Case Study with Big Data Analytics Approach. IEEE Access, 8, 14322–14328. https://doi.org/10.1109/ACCESS.2020.2966553