The Bright and Dark Sides of Facial Recognition

Facial recognition, used as a security system for several mobile phones, such as the i-Phone 11, is now becoming a very familiar technology. Not to mention about the daily technology throughout our lives, lots of countries are even adopting facial recognition systems at the government level. Therefore, the Sungkyun Times (SKT) is now going to discuss the bright and dark sides of facial recognition, and the ways it might develop in the future.

The Principles and Usage of the Facial Recognition System

How Faces Are Recognized

Facial recognition is more sanitary in that direct contact is not needed. It can also recognize reliably under the changes like beards or glasses, unlike an iris scan which does not work if external substances exist. Based on these advantages, facial recognition is used for a wide range of practices, such as payment and identification, as well as security systems. Especially in China, facial recognition is well-developed and used throughout daily lives. Some schools in China have installed the facial recognition machine in the entrance to check students’ attendance and to restrict access of outsiders. These systems, however, are not just being used in daily lives, as facial recognition systems can be used in criminal investigations. In 2018, Jacky Cheung, a famous singer in China and Hong Kong held several concerts from April to December. In his concerts, facial recognition cameras checked the identification of the audience, and 80 criminals were arrested. Several services based on the facial recognition system have started to be offered in South Korea, too. Shinhan Card provided Shinhan Face Pay, the first facial recognition payment service in Korea. This service was first offered to in-house staff last August, and Shinhan Card is planning to expand it gradually. Also, the Gyeonggi provincial government developed a child safety system this year. It has adopted the facial recognition system in school buses to track children. As you can see in these cases, the facial recognition system is growing rapidly based on its capabilities in various ways.

The Dark Side of the Facial Recognition System

Erosion of Users’ Privacy

Most biometrics such as fingerprint and iris scans need the subjects approval before they gather information. In contrast, facial recognition does not require any agreement, and facial images can be collected even at long range. So, the possibility of personal information leakage rises. According to research conducted by Georgetown University in the United States (US), more than 50% of American adults’ faces are exposed to the database of a law enforcement agency. In particular, the photos and videos uploaded on social media are much riskier, because each platform continuously develops its algorithm, collecting personal information through a facial recognition system. For Facebook, their system automatically tags people in a photo without the permission of the publisher. In sum, the privacy concerns are increasing in that facial information is more open than other bio-information.

Excessive Control and Surveillance

In China, facial recognition technology is highly developed, exceeding the number of patents regarding image processing technology in the US by about four times. Side effects, however, following this current situation are now rising to the surface. Last August, according to China Global Times, an “intelligence e-learning system” is going to be installed in the elementary school attached to Shanghai University of Traditional Chinese Medicine. This system combines several technologies such as facial recognition, fever detection, and watches students’ overall actions, including smiling, yawning and raising their hands. In turn, some people showed concerns through their social media that it would cause erosion in students’ privacy and may increase personality disorders. Besides this, the Chinese government has adopted a facial recognition system to control the Uighur, the Muslim minority. Last year, judicial authorities in Shaanxi announced that they have to secure a smart camera system with which the facial recognition system is equipped, to separate the Uighur and non-Uighur. It means that they will be able to figure out who is Uighur based on their appearance with facial recognition technology and a closed-circuit television (CCTV) network to record Uighur’s footprints for research and control. Such facial recognition technology in China raises lots of concerns, reminding us of Big Brother in modern society.

Inaccuracy Caused by Technical Limits

The accurate recognition rate in the facial recognition system differs depending on the race of the users. A computer scientist and digital activist at the Massachusetts Institute of Technology (MIT) Media Lab, Joy Buolamwini, conducted research testing the facial recognition system of Microsoft, IBM, and Megvii. 1,270 facial images of members of Congress in three African countries and three North European countries were used. In this research, the system showed 99% accurate results in the case of white people. The error rate, however, increased as the color of skin became darker, and even 35% error shown in the images of the black women. These errors are caused by the data used in training the algorithms in the system. This data often consists of facial images of men or white people. As the algorithm learns the data of men or white people more, the performance for these specific groups can be more accurate than that of other groups. As a result, if the underlying data maintains this biased approach like now, then non-white people and women would have disadvantages in criminal investigations or public order and security.

Ways Forward for the Facial Recognition System

Regulating the Inappropriate Usage of the Technology

As the facial recognition technology is used in a criminal investigation as well as our daily lives, some governments have started to regulate the usage of facial recognition used in the erosion of privacy. Following New Hampshire and Oregon in the US, San Francisco and Somerville adopted regulation inhibiting the usage of facial recognition. Also, US Senator Roy Blunt and Brian Schatz proposed a guideline bill regulating the commercial use of facial recognition under the support of Microsoft and the Center for Democracy and Technology. It is suggesting an agreement with citizens in the case of usage or sharing data with third parties. Above all, bills that keep law enforcement authorities from using facial recognition to monitor ordinary citizens are necessary.

Interference Technology that Protects Privacy

The interference technologies that prevent the invasion of privacy have been developed, as personal privacy became a significant issue of facial recognition. Researchers at the University of Toronto, Canada designed a “privacy filter” that interferes with facial recognition systems. This filter works based on the adversarial training, leading to two artificial intelligence (AI) algorithms to continually compete and learn from each other. The disruptive AI, standing at an antipode of detection AI, detects the spots that detection AI is aiming for. Then, it makes a subtle change which is imperceptible to the human eye, but enough to fool the recognition system at that moment. This filter could lower the accuracy of facial recognition from nearly 100% down to 0.5%. Through the technologies like this, unwanted erosion of privacy could be prevented.

Maintaining an Unbiased Approach

For unbiased recognition and decisions, the racial and gender balance in the amount of data used in training the algorithms is necessary. IBM, for example, announced the dataset called Diversity in Faces (DiF). In this dataset, 10 coding systems include the features of faces, ages, and genders of a million publicly available facial images. In summary, they aim to prevent the differences in the recognition accuracy caused by racial or gender factors, by balancing and increasing the sample data.

Constant controversy always exists after the development of innovative technology, and facial recognition systems are not an exception. Opinions based on the predicting of digital dystopia where the government and police are monitoring citizens, and the opposite side that insists that facial recognition systems are inevitable for modern society, are at odds with each other. It is difficult to fully understand problems that exist within technology, but commercialization should happen only after enough discussion between the authorities and the citizens.