ISSN 2663-0583 (Online)
ISSN 2663-0575 (Print)
  • Home
  • Privacy-By-Design in Emotion AI: Data Protection Frameworks and Compliance Strategies
"

Privacy-By-Design in Emotion AI: Data Protection Frameworks and Compliance Strategies

Summary: 1. Introduction. – 2. Methodology. – 3. Understanding Emotion AI and Its Privacy and Ethical Concerns. – 3.1. Defining Emotion AI. – 3.2. The Rise of Privacy and Ethical Concerns with Emotion AI. – 3.2.1. Bias and Discriminationl. – 3.2.2. Transparency and Explainability. – 3.2.3. Consent and Data Security. – 3.2.4. The Risk of Manipulation. – 4. Data Protection Frameworks Relevant to Emotion AI. – 4.1. Emotion AI Through the Lenses of the GDPR. – 4.2. Emotion AI Systems Under EU AI Act. – 4.3. European Case Law and Regulatory Guidance on Emotion AI. – 5. Compliance Strategies for Privacy-By-Design in Emotion AI. – 5.1. Privacy-by-Design Core Principles. – 5.2. Implementing Privacy-by-Design in Emotion AI. – 5.2.1. Data Minimization and Purpose Limitation. – 5.2.2. Transparency and Consent. – 5.2.3. Security and Data Protection. – 5.2.4. Accountability and Algorithmic Transparency. – 5.2.5. User-Centric Design. – 5.2.6. Impact Assessments. – 6. Conclusions.

Full Text:

DOI

HTML Abstract About Author(s) References Reviews Українською

 

 

مقالة مراجعة

 

الخصوصية المدمجة في التصميم ضمن تقنيات الذكاء الاصطناعي العاطفي: أطر حماية البيانات واستراتيجيات الامتثال

 

العروسيالشملالي* و ليلى بن صديق 

الملخص 

خلفية الدراسة: أسهم التطور السريع في مجال الذكاء الاصطناعي العاطفي في فتح مجالات واسعة للابتكار في قطاعات متعددة تشمل الرعاية الصحية والتسويق والتفاعل بين الإنسان والآلة. وتعتمد تطبيقات هذا النوع من الذكاء الاصطناعي، القائم على تحليل الانفعالات البشرية ومعالجتها والتفاعل معها، على بيانات شخصية شديدة الحساسية، الأمر الذي يثير تحديات جوهرية تتعلق بالخصوصية وقضايا أخلاقية متنامية. ويعد تبني مبادئ الخصوصية المدمجة في التصميم داخل هذه الأنظمة خطوة أساسية لمواجهة هذه التحديات وضمان الامتثال للأطر القانونية المتغيرة. وتتناول هذه الدراسة العلاقة بين الخصوصية المدمجة في التصميم والذكاء الاصطناعي العاطفي، مع التركيز على المخاطر التي تهدد خصوصية الأفراد نتيجة جمع البيانات الانفعالية ومعالجتها. وتأتي الدراسة ضمن سياق أشمل يركز على تطوير ذكاء اصطناعي أخلاقي، مؤكدة الحاجة الملحة إلى المواءمة بين التقدم التقني وتوفير حماية قوية وفعّالة لخصوصية المستخدمين. 

المنهجية: يقدم هذا البحث تحليلًا قانونيًا مفاهيميًا للتقاطع بين الخصوصية المدمجة في التصميم والذكاء الاصطناعي العاطفي ضمن أطر حماية البيانات الحديثة.  ويستند إلى مراجعة شاملة للمصادر الأولية، بما في ذلك اللائحة العامة لحماية البيانات في الاتحاد الأوروبي، وقانون الذكاء الاصطناعي الأوروبي، وأحكام محكمتي العدل الأوروبية وحقوق الإنسان الأوروبية، إلى جانب الإرشادات الصادرة عن هيئات حماية البيانات، فضلًا عن المصادر الثانوية مثل الدراسات الأكاديمية والكتب المتخصصة. وقد نُظمت المناقشة بحيث تبدأ بعرض شامل لمفهوم الذكاء الاصطناعي العاطفي وتطبيقاته والمخاوف الفردية المتعلقة بالخصوصية التي يثيرها. ويتبع ذلك تناولٌ للأطر الحالية لحماية البيانات وسبل تكييفها لتناسب أنظمة الذكاء الاصطناعي العاطفي. ثم تنتقل الدراسة إلى مناقشة المبادئ الأساسية للخصوصية المدمجة في التصميم، مع بحث كيفية تطبيق هذه المبادئ عند تطوير ونشر تقنيات الذكاء الاصطناعي العاطفي. 

النتائج والاستنتاجات: يبيّن التحليل أن تطبيق مبادئ الخصوصية المدمجة في التصميم داخل أنظمة الذكاء الاصطناعي العاطفي ليس خيارًا إضافيًا، بل ضرورة أساسية لحماية خصوصية المستخدمين وضمان الامتثال القانوني. وعندما تُنفذ هذه المبادئ بصورة سليمة، فإنها توفر ثلاث فوائد محورية تتمثل في تعزيز شفافية النظام، وتقوية آليات المساءلة، وتوسيع قدرة الأفراد على التحكم في بياناتهم الشخصية. وتسهم هذه النتائج إسهامًا مهمًا في ترسيخ الأسس النظرية لتصميم ذكاء اصطناعي مسؤول، كما تقدم إرشادات عملية قابلة للتطبيق للجهات التي تعمل على تطوير ونشر تقنيات الذكاء الاصطناعي العاطفي. وتختتم الدراسة بطرح نموذج واضح يمكّن المطورين والمؤسسات من مواكبة التلاقي المتسارع بين تقنيات الذكاء العاطفي وتطورات التنظيمات المرتبطة بالخصوصية.

Abstract

 

Background: The rapid advancement of Emotion Artificial Intelligence (Emotion AI) has created significant opportunities for innovation across a broad variety of domains, including healthcare, marketing, and human-computer interaction. Emotion AI applications—which process, analyse, and respond to human emotions—rely heavily on sensitive personal data, resulting in privacy and ethical concerns. The implementation of Privacy-by-Design (PbD) principles within such systems is essential to counter these challenges and maintain compliance with changing legal frameworks. This paper discusses the interplay between PbD and Emotion AI, with a special emphasis on the privacy risks associated with the collection and processing of emotional data. The study is set against the broader background of developing ethical AI, emphasising the urgent need to balance technological innovation with robust privacy protection. 

Methods: The paper provides a conceptual legal analysis of the intersection between Privacy-by-Design (PbD) and Emotion AI within modern data protection frameworks. It employs a comprehensive review of primary sources, including the EU GDPR, the EU AI Act, CJEU and ECtHR jurisprudence, and guidance from Data Protection Authorities, alongside secondary sources like scholarly works and books. The discussion is structured first to provide an overview of Emotion AI, its applications, as well as individual privacy concerns it raises. This is followed by a consideration of existing data protection regimes and how they can be transferred to Emotion AI systems. The study then focuses on the fundamental principles of PbD, examining how they can be applied when developing and deploying Emotion AI technologies. 

Results and Conclusions: The analysis demonstrates that implementing PbD principles in Emotion AI systems is essential—not merely beneficial—for protecting users’ privacy and ensuring legal compliance. Properly implemented PbD frameworks deliver three essential benefits: enhanced system transparency, stronger accountability mechanisms, and greater user control over their own data. These findings contribute significantly to the theoretical foundations of responsible AI design while offering actionable implementation guidance for organisations deploying Emotion AI systems. Finally, the study presents an unambiguous model for developers and organisations to successfully ride the wave of convergence between emotional intelligence technology and privacy regulations.

About Authors

 

Authors information

 

Laroussi Chemlali*

PhD in Law, Associate Professor, Ajman University, College of Law, Ajman, United Arab Emirates

l.chemlali@ajman.ac.ae  

https://orcid.org/0000-0002-4770-7121

Corresponding author, responsible for conceptualisation, methodology, writing – original draft, writing –review & editing, supervision, validation.

Leila Benseddik

PhD in Applied Linguistics, Assistant Professor, Canadian University of Dubai, Faculty of First Year, Dubai, United Arab Emirates

leila.benseddik@cud.ac.ae  

https://orcid.org/0009-0000-4556-2961

Co-author, responsible for conceptualisation, methodology, writing – original draft,  writing –review & editing, supervision.

Competing interests: No competing interests were disclosed. Any potential conflict of interest must be disclosed by authors.

Disclaimer: The authors declare that their opinion and views expressed in this manuscript are free of any impact of any organizations.

 

Acknowledgements

The authors wish to express their sincere appreciation to Ajman University for its financial support in covering the Article Processing Charges (APC) for this publication.

 

Rights and Permissions

Copyright: © 2025 Laroussi Chemlali and Leila Benseddik. This is an open access article distributed under the terms of the Creative Commons Attribution License, (CC BY 4.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original author and source are credited.

 

Editors

Managing Editor – Mag. Yuliia Hartman. English Editor – Julie Bold. Ukrainian language Editor – Mag. Liliia Hartman.

 

References

 

Almeida D, Shmarko K and Lomas E, ‘The Ethics of Facial Recognition Technologies, Surveillance, and Accountability in an Age of Artificial Intelligence: A Comparative Analysis of US, EU, and UK Regulatory Frameworks’ (2022) 2 AI Ethics 377. doi:10.1007/s43681-021-00077-w

 

Andreotta AJ, ‘The Hard Problem of AI Rights’ (2021) 36 AI & Society 19. doi:10.1007/s00146-020-00997-x

Andreotta AJ, Kirkham N and Rizzi M, ‘AI, Big Data, and the Future of Consent’ (2022) 37 AI & Society 1715. doi:10.1007/s00146-021-01262-5

Barker D and others, ‘Ethical Considerations in Emotion Recognition Research’ (2025) 7(2) Psychology International 43. doi:10.3390/psycholint7020043

Barredo Arrieta A and others, ‘Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI’ (2020) 58 Information Fusion 82. doi:10.1016/j.inffus.2019.12.012

Cartwright J, Ellington MT and Hawthorne AS, ‘Exploring the Potential of Emotional Intelligence in AI through Emotion-Sensitive Learning Algorithms’ [2024] Preprint. doi:10.13140/RG.2.2.18780.16005 

Cavoukian A, ‘Privacy by Design: The 7 Foundational Principles’ (2009) 5 Information and Privacy Commissioner of Ontario, Canada 12

Cheong BC, ‘Transparency and Accountability in AI Systems: Safeguarding Wellbeing in the Age of Algorithmic Decision-Making’ (2024) 6 Frontiers in Human Dynamics 1421273. doi:10.3389/fhumd.2024.1421273

Cortiñas-Lorenzo K and Lacey G, ‘Toward Explainable Affective Computing: A Review’ (2023) 35(10) IEEE Transactions on Neural Networks and Learning Systems 13101. doi:10.1109/TNNLS.2023.3270027

Davenport T and others, ‘How Artificial Intelligence Will Change the Future of Marketing’ (2020) 48(1) Journal of the Academy of Marketing Science 24. doi:10.1007/s11747-019-00696-0

Díaz-Rodrígue N and others, ‘Connecting the Dots in Trustworthy Artificial Intelligence: From AI Principles, Ethics, and Key Requirements to Responsible AI Systems and Regulation’ (2023) 99 Information Fusion 101896. doi:10.1016/j.inffus.2023.101896

Dodeja L and others, ‘Towards the Design of User-Centric Strategy Recommendation Systems for Collaborative Human–AI Tasks’ (2024) 184 International Journal of Human-Computer Studies 103216. doi:10.1016/j.ijhcs.2023.103216

Elhai JD, Levine JC and Hall BJ, ‘Anxiety about Electronic Data Hacking: Predictors and Relations with Digital Privacy Protection Behavior’ (2017) 27(3) Internet Research 631. doi:10.1108/IntR-03-2016-0070

Ienca M, ‘On Artificial Intelligence and Manipulation’ (2023) 42(3) Topoi 833. doi:10.1007/s11245-023-09940-3

Kaminski ME and Malgieri G, ‘Algorithmic Impact Assessments Under the GDPR: Producing Multi-Layered Explanations’ (2021) 11(2) International Data Privacy Law 125. doi:10.1093/idpl/ipaa020

Kaur R, Gabrijelčič D and Klobučar T, ‘Artificial Intelligence for Cybersecurity: Literature Review and Future Research Directions’ (2023) 97 Information Fusion 101804. doi:10.1016/j.inffus.2023.101804

Khalil RA and others, ‘Speech Emotion Recognition Using Deep Learning Techniques: A Review’ (2019) 7 IEEE Access 117327. doi:10.1109/ACCESS.2019.2936124

Khare SK and others, ‘Emotion Recognition and Artificial Intelligence: A Systematic Review (2014-2023) and Research Recommendations’ (2024) 102 Information Fusion 102019. doi:10.1016/j.inffus.2023.102019

Kumar V and others, ‘Understanding the Role of Artificial Intelligence in Personalized Engagement Marketing’ (2019) 61(4) California Management Review 135. doi:10.1177/0008125619859317

Kurian N, 'AI's Empathy Gap: The Risks of Conversational Artificial Intelligence for Young Children's Well-Being and Key Ethical Considerations for Early Childhood Education and Care' (2023) 26(1) Contemporary Issues in Early Childhood 132. doi:10.1177/14639491231206004

Li Y and others, ‘Developing Trustworthy Artificial Intelligence: Insights from Research on Interpersonal, Human-Automation, and Human-AI Trust’ (2024) 15 Frontiers in Psychology 1382693. doi:10.3389/fpsyg.2024.1382693 

Mantello P and others, ‘Machines that Feel: Behavioral Determinants of Attitude Towards Affect Recognition Technology—Upgrading Technology Acceptance Theory with the Mind sponge Model’ (2023) 10(1) Humanities and Social Sciences Communications 430. doi:10.1057/s41599-023-01837-1

McStay A, ‘Emotional AI, Soft Biometrics and the Surveillance of Emotional Life: An Unusual Consensus on Privacy’ (2020) 7(1) Big Data & Society. doi:10.1177/2053951720904386

McStay A, Emotional AI: The Rise of Empathic Media (SAGE Publications 2018) doi:10.4135/9781526451293

McStay A, ‘Empathic Media and Advertising: Industry, Policy, Legal and Citizen Perspectives (The Case for Intimacy)’ (2016) 3(2) Big Data & Society. doi:10.1177/2053951716666868

Menges L and Weber-Guskar E, ‘Digital Emotion Detection, Privacy, and the Law’ (2025) 38(2) Philosophy & Technology 1. doi:10.1007/s13347-025-00895-4

Nag PK, Bhagat A and Priya RV, ‘Expanding AI's Role in Healthcare Applications: A Systematic Review of Emotional and Cognitive Analysis Techniques’ [2025] IEEE Access. doi:10.1109/ACCESS.2025.3562131

Palmiotto F and González NM, ‘Facial Recognition Technology, Democracy and Human Rights’ (2023) 50 Computer Law & Security Review 105857. doi:10.1016/j.clsr.2023.105857

Pan B and others, ‘A Review of Multimodal Emotion Recognition from Datasets, Preprocessing, Features, and Fusion Methods’ (2023) 561 Neurocomputing 126866. doi:10.1016/j.neucom.2023.126866

Picard RW, Affective Computing (Technical Report no 321, MIT Media Laboratory Perceptual Computing Section 1995) 

Podoletz L, ‘We Have to Talk A bout Emotional AI and Crime’ (2023) 38 AI & Society 1067. doi:10.1007/s00146-022-01435-w

Salvi del Pero A, Wyckoff P and Vourc'h A, Using Artificial Intelligence in the Workplace: What are the Main Ethical Risks? (Social, Employment and Migration Working Papers no 273, OECD 2022). doi:10.1787/840a2d9f-en

Siau KL and Wang W, ‘Building Trust in Artificial Intelligence, Machine Learning, and Robotics’ (2018) 31(2) Cutter Business Technology Journal 47

Thakkar A, Gupta A and De Sousa A, ‘Artificial Intelligence in Positive Mental Health: A Narrative Review’ (2024) 6 Frontiers in Digital Health 1280235. doi:10.3389/fdgth.2024.1280235

Varsha PS, ‘How Can We Manage Biases in Artificial Intelligence Systems: A Systematic Literature Review’ (2023) 3(1) International Journal of Information Management Data Insights 100165. doi:10.1016/j.jjimei.2023.100165

Velagaleti SB and others, ‘Empathetic Algorithms: The Role of AI in Understanding and Enhancing Human Emotional Intelligence’ (2024) 20(3) Journal of Electrical Systems 2051. doi:10.52783/jes.1806

Vistorte AOR and others, ‘Integrating Artificial Intelligence to Assess Emotions in Learning Environments: A Systematic Literature Review’ (2024) 15 Frontiers in Psychology 1387089. doi:10.3389/fpsyg.2024.1387089

Zepf S and others, ‘Driver Emotion Recognition for Intelligent Vehicles: A Survey’ (2020) 53(3) ACM Computing Surveys (CSUR) 64. doi:10.1145/338879

Zualkernan IA and others, ‘Emotion Recognition Using Mobile Phones’ (2017) 60 Computers & Electrical Engineering 1. doi:10.1016/j.compeleceng.2017.05.004

Reviews for article

Add a Review

Reviews are moderated and will be published after verification!
All comments not related to reviews of the article will be deleted!

 

 

АНОТАЦІЯ УКРАЇНСЬКОЮ МОВОЮ
 

 

 

Оглядова стаття

 

КОНФІДЕНЦІЙНІСТЬ ЗА ЗАМОВЧУВАННЯМ В ЕМОЦІЙНОМУ ШІ: ЗАХИСТ ДАНИХ ТА СТРАТЕГІЇ ДОТРИМАННЯ ВИМОГ

 

Ларуссі Чемлалі* та Лейла Бенседдік

 

АНОТАЦІЯ

Вступ. Швидкий розвиток емоційного штучного інтелекту (емоційний ШІ) створив значні можливості для інновацій у широкому спектрі галузей, зокрема в сфері охорони здоров'я, маркетингу та взаємодії людини з комп'ютером. Застосунки з емоційним ШІ, які обробляють, аналізують та реагують на людські емоції, здебільшого залежать від приватних персональних даних, що призводить до проблем із конфіденційністю та етичними нормами. Впровадження принципів конфіденційності за замовчуванням (PbD) у таких системах є важливим для протидії цим викликам та забезпечення відповідності змінам у правових системах. У цій статті розглядається взаємодія між PbD та емоційним ШІ, з наголосом на ризики для конфіденційності, що пов'язані зі збором та обробкою емоційних даних. Дослідження проводиться на тлі ширшого контексту розробки етичного ШІ. У роботі було підкреслено нагальну необхідність збалансувати технологічні інновації з надійним захистом конфіденційності.

Методи. У статті пропонується концептуальний юридичний аналіз взаємодії між концепцією конфіденційності за замовчуванням (PbD) та eмоційним ШІ у сучасних системах захисту даних. У ній використовується комплексний огляд первинних джерел, зокрема GDPR ЄС, Акт ЄС про ШІ, судову практику Суду ЄС та ЄСПЛ, Рекомендації щодо захисту персональних даних, а також вторинні джерела, такі як наукові праці та книги. Дослідження структуровано таким чином: спочатку подано огляд eмоційного ШІ, його застосування, а також проблеми конфіденційності, які він спричиняє. Далі йде розгляд наявних режимів захисту даних та того, як їх можна перенести на системи емоційного ШІ. Після чого увага зосереджується на фундаментальних принципах PbD, а також вивчається, як їх можна застосовувати під час розробки та впровадження технологій емоційного ШІ.

Результати та висновки. Аналіз демонструє, що впровадження принципів PbD у системи емоційного ШІ є важливим, а не просто корисним для того, щоб захистити конфіденційність користувачів та забезпечити дотримання законодавства. Правильно впроваджені системи PbD мають три важливі переваги: підвищену прозорість системи, кращі механізми підзвітності та більший контроль користувачів над власними даними. Ці висновки роблять значний внесок у теоретичні основи відповідального проєктування штучного інтелекту, пропонуючи практичні рекомендації для організацій, що впроваджують системи емоційного ШІ. Зрештою, дослідження представляє чітку модель для розробників та організацій, яка допоможе їм успішно скористатися конвергенцією технологій емоційного інтелекту та нормативних вимог щодо конфіденційності.

Ключові слова. конфіденційність за замовчуванням, емоційний ШІ, захист даних, етика у ШІ, розпізнавання емоцій, конфіденційність користувачів.

Keywords

  • privacy-by-design, emotion AI, data protection, ethics in AI, emotion recognition, user privacy.

Publication history

  •  

    DETAILS FOR PUBLICATION

     

    Date of submission: 21 Aug 2025

    Date of acceptance: 02 Oct 2025

    Online First publication: 04 Dec 2025 

    Whether the manuscript was fast tracked? - No

    Number of reviewer report submitted in first round: 2 reports

    Number of revision rounds: 1 round with major revisions

     

    Technical tools were used in the editorial process:

    Plagiarism checks - Turnitin from iThenticate https://www.turnitin.com/products/ithenticate/

    Scholastica for Peer Review https://scholasticahq.com/law-reviews

     

    AI Disclosure Statement:

    The corresponding author confirms that this article was prepared with the assistance of AI tools. Specifically, ChatGPT (OpenAI) and Claude were used for language refinement during the drafting process. All content, arguments, and conclusions were generated independently and remain their sole responsibility. No AI tool was used for generating original research findings or analysis.

     

How to cite it?

  •  

    Chemlali L and Benseddik L, ‘Privacy-By-Design in Emotion AI: Data Protection Frameworks and Compliance Strategies’ (2025) 8(Spec) Access to Justice in Eastern Europe <https://doi.org/10.33327/AJEE-18-8.S-r000153> Published Online 04 Dec 2025