تدير سيلين شركة التكنولوجيا التي أسستها منذ اثني عشر عاماً. بدأت الشركة بفريق برمجيات صغير، ثم أصبحت مؤسسة دولية تقدم خدماتها في بلدان متعددة. وسيلين ليست مديرتها فحسب، بل الوجه الذي يعرف الناس به العلامة التجارية. يتابع العملاء كلماتها، ويستمع إليها الموظفون في اجتماعات بدء مراحل العمل الجديدة، وكثيراً ما يفسر المستثمرون قرارات الشركة من خلال ما تقوله. ومع توسع النشاط إلى ست دول، صار تكرار تسجيل المواد التدريبية نفسها مرهقاً. فكل دفعة جديدة من الموظفين تحتاج إلى فيديوهات بالإنجليزية والتركية والألمانية والإسبانية والعربية والروسية.
يُقترح استخدام نظام لشخصية افتراضية، أو «أفاتار»، يعمل بالذكاء الاصطناعي. سيستخدم النظام وجه سيلين وصوتها لتقديم نصوص معتمدة بلغات مختلفة. وفي الاجتماع الأول للمشروع، يوضح الفريق التقني: «لن يُستخدم وجهك وصوتك إلا في التدريب الداخلي للشركة وفيديوهات الترحيب بالعملاء التي تعتمدينها مسبقاً». ترى سيلين فائدة في الفكرة. تُجرى التسجيلات على مدى يومين؛ تُلتقط نبرات صوت متعددة وحركات الوجه، وتُكرر جمل نموذجية بمشاعر مختلفة. ثم توقع سيلين وثيقة موافقة.
تتضمن الوثيقة العبارة الآتية: «أسمح بإنتاج صور وأصوات اصطناعية لأغراض التدريب والتواصل المؤسسي». تفهم سيلين العبارة على النحو الآتي: «يمكن إنتاج النصوص التدريبية التي أعتمدها من دون أن أقف أمام الكاميرا مرة أخرى». أما الفريق التقني فيفهم منها: «يمكن استخدام نموذج الوجه والصوت في فئة واسعة من المحتوى المتعلق بأنشطة الشركة». وبمرور الوقت، سيتبنى فريق التسويق تفسيراً أوسع: «قد يشمل التواصل المؤسسي فيديوهات العملاء ومحتوى شبكات التواصل والبيانات العامة».
تمر الأشهر الأولى من دون مشكلات. تطلع سيلين على كل نص وتعتمده قبل النشر. تعرّف الشخصية الافتراضية الموظفين الجدد بثقافة الشركة، وتشرح للعملاء كيفية استخدام المنصة، وتقدم رسائل ترحيب قصيرة بست لغات. يوفر النظام الوقت فعلاً. ويعرف المشاهدون أن الفيديوهات مصطنعة؛ إذ يتضمن وصف كل فيديو العبارة: «يستخدم هذا المحتوى شخصية افتراضية أُنشئت بالذكاء الاصطناعي بإذن من سيلين». ثم يتوسع النظام. يصبح وكيل المحتوى قادراً على توليد النصوص تلقائياً من وثائق الشركة الداخلية.
يكيّف وكيل التوطين النص لست لغات، ويولّد وكيل الشخصية الافتراضية الوجه والصوت. ويرسل وكيل النشر الفيديوهات المعتمدة إلى منصات التواصل، بينما يحدد وكيل الجدولة مواعيد نشرها. ومع الوقت، يبدأ الحصول على اعتماد سيلين الصريح لكل فيديو في إبطاء العمل. يقول مدير التسويق: «لقد سمحت سيلين بالاستخدام العام. لا نحتاج إلى طلب اعتمادها في كل مرة نصدر فيها بياناً روتينياً». تُضاف قاعدة جديدة إلى النظام: البيانات العامة ذات الأثر الكبير: تتطلب اعتماداً بشرياً.
التواصل المؤسسي الروتيني: يجوز نشره في نطاق الصلاحية العامة القائمة. وهنا تكمن المشكلة:
أصبح الوكيل هو الذي يقرر ما له أثر كبير وما يُعد روتينياً.
في أحد أيام الجمعة، تتغير سياسة استخدام البيانات في الشركة. تسمح السياسة الجديدة باستخدام أنماط مجهولة الهوية، مستخلصة من سجلات دعم العملاء، لتطوير المنتجات. يُعد الفريق القانوني نصاً مطولاً ودقيقاً يتضمن قيوداً محددة:
- لن تُستخدم رسائل العملاء الخام في تدريب النماذج.
- ستُفصل البيانات الشخصية.
- سيتمكن المستخدمون من الاعتراض على بعض أشكال المعالجة.
- ستكتمل المراجعة التقنية والقانونية قبل بدء التطبيق.
يختصر وكيل المحتوى النص في إعلان عام: «لتحسين تجربة العملاء، نبدأ باستخدام بيانات الدعم لدينا في تحسين أنظمة الذكاء الاصطناعي». لا تنقل هذه الجملة القيود المهمة الواردة في النص القانوني. اختفت عبارة «الأنماط مجهولة الهوية»، واختفى قيد عدم استخدام الرسائل الخام، وشرط إتمام المراجعة التقنية أولاً، والإشارة إلى إمكان الاعتراض. يصنف وكيل التسويق النص على أنه إعلان روتيني عن تطوير المنتجات، فلا يطلب اعتماداً بشرياً. ويترجم وكيل التوطين النص إلى ست لغات.
ينتج وكيل الشخصية الافتراضية ستة فيديوهات بوجه سيلين وصوتها، ويرسلها وكيل النشر إلى شبكات التواصل وموقع الشركة. صباح الاثنين، تستيقظ سيلين على رسائل تصل إلى هاتفها. كتب أحد الموظفين: «لماذا لم تخبرينا مسبقاً بأننا بدأنا نستخدم بياناتنا لتدريب الذكاء الاصطناعي؟». ويسأل عميل: «هل تُستخدم محادثات الدعم الخاصة بنا في تدريب النماذج؟». لا تفهم سيلين ما الذي حدث. تفتح الرابط المرسل إليها، فترى نفسها على الشاشة. وجهها. صوتها. إيقاع كلامها. الفيديو باللغة الإنجليزية.
تقول الشخصية الافتراضية: «لتحسين تجربة العملاء، نبدأ باستخدام بيانات الدعم لدينا في تحسين أنظمة الذكاء الاصطناعي». تعيد سيلين مشاهدة الفيديو. لم تقرأ هذه الجملة قط، ولم تعتمدها. لقد اطلعت على النص الذي أعده الفريق القانوني، لكنها تسمع هذه الصياغة المختصرة للمرة الأولى. ومن فمها هي. تتصل بمدير التسويق: «لماذا نُشر هذا الفيديو؟». يجيب: «كان لدينا إذنك العام باستخدام الشخصية الافتراضية، وصنف النظام هذا المحتوى على أنه تواصل روتيني». تقول سيلين: «أنا لم أسمح بهذه الجملة».
يتدخل الفريق التقني ويفحص سجلات نظام الشخصية الافتراضية. إذن استخدام الوجه ساري المفعول، وكذلك إذن استخدام نموذج الصوت، وغرض التواصل المؤسسي ما زال قائماً. اشتق وكيل المحتوى النص من وثيقة سياسة معتمدة، وصنفه وكيل التسويق ضمن المحتوى الروتيني، واستخدم وكيل النشر رمز وصول عاماً صالحاً للنشر. يبدو كل مكون تقني، وفق سجلاته، مخولاً بالعمل. لكن أحداً لم يعرض الجملة النهائية على سيلين. تصدر تعليماتها: «أوقفوا جميع الفيديوهات فوراً». فيتوقف الوكيل المركزي للشخصية الافتراضية عن إنتاج محتوى جديد.
تظهر في لوحة الإدارة الرسالة:
Avatar production paused. أي: أُوقف إنتاج الشخصية الافتراضية مؤقتاً.
لكن ثلاثة فيديوهات أخرى مجدولة للنشر على منصات خارجية، وأحدها سيُنشر بعد عشر دقائق. لا يتحقق طابور النشر الخارجي من حالة إيقاف الوكيل المركزي. يُنشر الفيديو الثاني، ثم الثالث بلغة أخرى. يتدخل الفريق التقني في كل منصة على حدة، ويحذف بعض الفيديوهات. غير أن بعض العملاء نزلوها بالفعل، وسجل موظف ما ظهر على شاشته، وانتشر الفيديو في مجموعة مهنية، واقتبس موقع إخباري بيان سيلين.
تستطيع الشركة إزالة الفيديوهات، لكنها لا تستطيع محو حقيقة أن الناس سمعوا جملة لم تقلها سيلين قط. تظل صامتة في غرفة الاجتماع وقتاً طويلاً، ثم تقول:
«الصورة صورتي. والصوت صوتي. والشركة شركتي. لكن لمن هذه الجملة؟»
لا يستطيع أحد في الغرفة أن يجيب وحده. أنتج وكيل المحتوى الجملة، وعدّها وكيل التسويق منخفضة المخاطر، ونطق بها وكيل الشخصية الافتراضية، ونشرها وكيل النشر. منح البشر صلاحيات عامة، وعملت الأدوات تقنياً، ومضت طوابير النشر كما خُطط لها. ومع ذلك، لا يبدو للجملة صاحب حقيقي. والأدق أن هناك بشراً يجب أن يتحملوا مسؤولية آثارها، لكن النظام قسم هذه المسؤولية إلى قرارات تقنية صغيرة حتى أخفاها. قد يقول أحدهم: «الذكاء الاصطناعي هو الذي أنشأها». لكن الذكاء الاصطناعي لم يغير سياسة البيانات في الشركة.
البشر هم من كتبوا السياسة. ولم ينشئ الذكاء الاصطناعي نموذج وجه سيلين وصوتها من تلقاء نفسه؛ فالبشر سجلوا الوجه والصوت وربطوا النموذج بالنظام. ولم يفتح الذكاء الاصطناعي حساب النشر؛ البشر منحوه الوصول إليه. ولم يستمد حدود فئة «المحتوى الروتيني» من نظام قانوني خاص به؛ البشر عرّفوا هذه الفئة أو أهملوا تعريفها. ليست المشكلة مجرد جملة خاطئة أنتجها الذكاء الاصطناعي. المشكلة الأعمق هي:
انفصلت هوية إنسان عن حقه في أن تكون له الكلمة الأخيرة.
وجه سيلين موجود في النظام، وصوتها موجود، وكلماتها السابقة ودورها في الشركة موجودة أيضاً. لكن إرادتها الحالية لم تُربط بالنظام بالقوة نفسها التي رُبطت بها هذه العناصر التقنية. استُخدم إذن واسع مُنح مرة واحدة وكأنه تفويض دائم بإنتاج جمل جديدة. وتحول حق الإنتاج إلى حق النشر، وفُسر إذن التواصل المؤسسي العام على أنه تفويض مفتوح يشمل كل بيان علني. وصل طلب الإيقاف إلى الوكيل المركزي، ولم يصل إلى الطوابير الخارجية. يشبه النظام سيلين.
لكنه لا يطيعها في اللحظة الحاسمة.
المسألة تتجاوز الوجه والصوت الاصطناعيين
قد يعرف شخص أن طلبه للحصول على قرض رُفض بسبب درجة مخاطر لم يطّلع عليها قط. وعندما يعترض، قد يعيد النظام نفسه تقييم البيانات نفسها ويصدر النتيجة نفسها. وقد يعترض موظف على استخدام إذن سابق بالتواصل في حملة مبيعات جديدة؛ فيعدل النظام المركزي السجل، بينما تظل الطوابير القديمة تعمل. وقد يقول مريض إنه لم يعد يريد من وكيل المواعيد والمتابعة أن يجري عمليات نيابة عنه؛ فيُغلق حساب التطبيق، وتبقى رموز الوصول إلى التقويم الخارجي والإشعارات سارية.
قد يرغب عميل في إنهاء تجربة مجانية. يستطيع الوكيل بدء التجربة باستدعاء تقني واحد، لكنه يحيل الإنسان إلى فريق الدعم لإلغائها. وقد يوضح متقدم لوظيفة أن النظام استخرج تاريخاً من سيرته الذاتية بصورة خاطئة، فيجيبه: «اتُّخذ القرار آلياً». تختلف التقنيات والمؤسسات والأشخاص في هذه الحالات، لكن السؤال التأسيسي واحد:
إذا كانت الآلة قادرة على إحداث آثار في حياة الإنسان، فما الحق الذي يجب ألا يفقده أبداً؟
يجيب NOMOS 13 عن هذا السؤال في ثلاث عشرة مادة. لكن الحكم الذي يسبقها جميعاً هو:
الكلمة الأخيرة للإنسان.
لا تعني هذه العبارة أن الإنسان هو دائماً الأكثر معرفة أو صواباً، ولا أنه يستطيع إلغاء جميع قواعد السلامة في لحظة. إنها تعني:
إسناد مهمة إلى الآلة لا يمنحها السيادة.
يمكن للنظام أن يزيد قدرة الإنسان على التأثير في العالم. لكنه لا يستطيع تحويل كلمة الإنسان الأخيرة بشأن هويته وحقوقه ومستقبله إلى وظيفة تقنية مفوضة إليه.