Precision (P) будет показывать часть правильно распознанных объектов заданного класса по отношению к общему числу объектов, принятых классификатором за объекты заданного класса. С другой стороны, Recall (R) будет показывать отношение правильно распознанных объектов к общему числу объектов данного класса.
Оба показателя и P, и R отражают «путаницу» классификатора. Однако R показывает, насколько классификатор оптимистичен в своих оценках или как часто он «любит» (высокое значение R) присоединять объекты другого класса (negative) к заданному, в то время как P показывает, насколько классификатор «строг» в своих оценках, насколько часто он «отбрасывает» (высокое значение P) объекты нужного (positive) класса. Разумеется, желательно, чтобы оба этих показателя стремились к 1, однако, как правило, в сложных случаях классификации результаты работы балансируют между значениями P и R, то есть большое значение P характерно при малом значении R, и наоборот. На рисунках 3.1a и 3.1b приведены примеры двух линейных классификаторов с высокими значениями precision и recall, где положительные объекты показаны черными точками, отрицательные желтыми, а граница между классами красной прямой.
Примечания
1
http://www.gartner.com/newsroom/id/3412017
2
https://rapidminer.com/
3
Octave online. https://octave-online.net/ (2017-04-01).
4
Octave download. https://www.gnu.org/software/octave/download.html (2017-04-01).
5
The Artificial Intelligence (AI) White Paper. https://www.iata.org/contentassets/b90753e0f52e48a58b28c51df023c6fb/ai-white-paper.pdf (2021-02-23).
6
Nguyen G. et al. Machine Learning and Deep Learning frameworks and libraries for large-scale data mining: A survey // Artificial Intelligence Review. 2019. Т. 52. 1. С. 77124.
7
Joseph A. Cruz and David S. Wishart. Applications of Machine Learning in Cancer Prediction and Prognosis // Cancer Informatics. 2006. Vol. 2. P. 5977.
8
Miotto R. et al. Deep learning for healthcare: Review, opportunities and challenges // Briefings in Bioinformatics. 2017. Т. 19. 6. С. 12361246.
9
Ballester, Pedro J. and John BO Mitchell. A machine learning approach to predicting proteinligand binding affinity with applications to molecular docking // Bioinformatics. 2010. Vol. 26. 9. P. 11691175.
10
Mahdavinejad, Mohammad Saeid, Mohammadreza Rezvan, Mohammadamin Barekatain, Peyman Adibi, Payam Barnaghi, and Amit P. Sheth. Machine learning for Internet of Things data analysis: A survey // Digital Communications and Networks. 2018. Vol. 4. Issue 3. P. 161175.
11
Farrar, Charles R. and Keith Worden. Structural health monitoring: A machine learning perspective. John Wiley & Sons, 2012. 66 p.
12
Lai J. et al. Prediction of soil deformation in tunnelling using artificial neural networks // Computational Intelligence and Neuroscience. 2016. Т. 2016. С. 33.
13
Liakos, Konstantinos et al. Machine learning in agriculture: A review // Sensors. 2018. 18(8). P. 2674.
14
Friedrich Recknagel. Application of Machine Learning to Ecological Modelling // Ecological Modelling. 2001. Vol. 146. P. 303310.
15
Татаринов В. Н., Маневич А. И., Лосев И. В. Системный подход к геодинамическому районированию на основе искусственных нейронных сетей // Горные науки и технологии. 2018. 3. С. 1425.
16
Clancy, Charles, Joe Hecker, Erich Stuntebeck, and Tim OShea. Applications of machine learning to cognitive radio networks // Wireless Communications, IEEE. 2007. Vol. 14. Issue 4. P. 4752.
17
Ball, Nicholas M. and Robert J. Brunner. Data mining and machine learning in astronomy // Journal of Modern Physics D. 2010. Vol. 19. 7. P. 10491106.
18
R. Muhamediyev, E. Amirgaliev, S. Iskakov, Y. Kuchin, E. Muhamedyeva. Integration of Results of Recognition Algorithms at the Uranium Deposits // Journal of ACIII. 2014. Vol. 18. 3. P. 347352.
19
Амиргалиев Е. Н., Искаков С. Х., Кучин Я. В., Мухамедиев Р. И. Методы машинного обучения в задачах распознавания пород на урановых месторождениях // Известия НАН РК. 2013. 3. С. 8288.
20
Chen Y., Wu W. Application of one-class support vector machine to quickly identify multivariate anomalies from geochemical exploration data // Geochemistry: Exploration, Environment, Analysis. 2017. Т. 17. 3. С. 231238.
21
Hirschberg J., Manning C. D. Advances in natural language processing // Science. 2015. Т. 349. 6245. С. 261266.
22
Goldberg Y. A primer on neural network models for natural language processing // Journal of Artificial Intelligence Research. 2016. Т. 57. С. 345420.
23
Под методом машинного обучения мы будем понимать реализацию алгоритма или некоторой модели вычислений, которая решает задачу классификации, регрессии или кластеризации с использованием «обучающихся» алгоритмов.
24
Taiwo Oladipupo Ayodele. Types of Machine Learning Algorithms // New Advances in Machine Learning. 2010. P. 1948.
25
Hamza Awad Hamza Ibrahim et al. Taxonomy of Machine Learning Algorithms to classify realtime Interactive applications // International Journal of Computer Networks and Wireless Communications. 2012. Vol. 2. 1. P. 6973.
26
Muhamedyev R. Machine learning methods: An overview // CMNT. 2015. 19(6). P. 1429.
27
Goodfellow I. et al. Deep learning. Cambridge: MIT press, 2016. Т. 1. 2.
28
Nassif A. B. et al. Speech recognition using deep neural networks: A systematic review // IEEE Access. 2019. Т. 7. С. 1914319165.
29
Hastie T., Tibshirani R., Friedman J. Unsupervised learning. New York: Springer, 2009. P. 485585.
30
Kotsiantis, Sotiris B., I. Zaharakis, and P. Pintelas. Supervised machine learning: A review of classification techniques // Emerging Artificial Intelligence Applications in Computer Engineering. IOS Press, 2007. P. 324.
31
Jain A. K., Murty M. N., Flynn P. J. Data clustering: A review // ACM computing surveys (CSUR). 1999. Т. 31. 3. С. 264323.
32
Wesam Ashour Barbakh, Ying Wu, Colin Fyfe. Review of Clustering Algorithms. Non-Standard Parameter Adaptation for Exploratory Data Analysis // Studies in Computational Intelligence. 2009. Vol. 249. P. 728.
33
Mukhamediev R. I. et al. From Classical Machine Learning to Deep Neural Networks: A Simplified Scientometric Review //Applied Sciences. 2021. Т. 11. . 12. С. 5541.
34
Мухамедиев Р. И. Методы машинного обучения в задачах геофизических исследований. Рига, 2016. 200 с. ISBN 978-9934-14-876-7.
35
Дьяконов А. Г. Анализ данных, обучение по прецедентам, логические игры, системы WEKA, RapidMiner и MatLab (Практикум на ЭВМ кафедры математических методов прогнозирования): учебное пособие. М.: Изд. отдел факультета ВМК МГУ им. М. В. Ломоносова, 2010.
36
Martin Fodslette Møller. A scaled conjugate gradient algorithm for fast supervised learning // Neural Networks. 1993. Vol. 6. Issue 4. P. 525533.
37
Dong C. Liu, Jorge Nocedal. On the limited memory BFGS method for large scale optimization // Mathematical Programming. 1989. Vol. 45. Issue 13. P. 503528.
38
Derivative of Cost Function for Logistic Regression. https://medium.com/mathematics-behind-optimization-of-cost-function/derivative-of-log-loss-function-for-logistic-regression-9b832f025c2d
39
Warren S. McCulloch, Walter Pitts. A logical calculus of the ideas immanent in nervous activity // The bulletin of mathematical biophysics. 1943. Vol. 5. Issue 4. P. 115133.
40
Rosenblatt, F. The perceptron: A probabilistic model for information storage and organization in the brain // Psychological Review. 1958. Vol. 65 (6). P. 386408.
41
Minsky M. L., Papert S. A. Perceptrons: An Introduction to Computational Geometry. MIT, 1969. 252 p.
42
Marvin Minsky, Seymour Papert. Perceptrons, expanded edition. The MIT Press, 1987. 308 p.
43
Werbos P. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Harvard University, 1974. 38 p.