قام فريق من الباحثين بتطوير أداة تعتمد على نظام تعليم الآلة بإمكانها التعرف على جنس المتحدث في أي صورة أو مقطع مصور صامت، وكذلك تحديد الكلام الذي يتم النطق به خلال الموقف المصور وذلك عبر تقنية "Side Eye".
يتسبب صوت المتحدث وموجاته في انحناء وكسر موجات الضوء وأشعته، وبالتالي خلال عملية التصوير إذا تمكنت عدسة الكاميرا من التقاط كمّ كبير من البيانات من هذا التغير في أشعة الضوء، يصبح من السهل إعادة بناء الموجات الصوتية والتعرف على جنس المتحدث، وفي بعض الأحيان يصبح من الممكن تحديد هويته بدقة. تقوم الهواتف بالتقاط بكسلات الصور بمعدل صف واحد في كل مرة، وبالتالي مع تكرار تلك العملية آلاف المرات، يصبح من السهل جمع كمية كبيرة من البيانات والتفاصيل الدقيقة عن المشهد خلال لحظة التصوير.
تستخدم الأداة تقنية الثبات في التصوير (image stabilization) لتتمكن من رصد التغيرات والاهتزازات الناتجة عن الموجات الصوتية التي تؤثر على مستشعر التصوير خلال عملية التقاط الصورة أو الفيديو، بالإضافة إلى تقنية فتحة الكاميرا الدوارة Rolling Shutter.
أما التقنية الثانية فتعتبر الأساس في عمل الأداة الجديدة من حيث استخدامها لالتقاط أكبر كمية من البيانات خلال عملية التصوير على طريقة كاميرات الهواتف الذكية التي تقوم بالتقاط كمية كبيرة من تفاصيل الصورة على عدة مراحل خلال ثوانٍ معدودة.
تعتمد دقة نتائج الأداة الجديدة بشكل رئيسي على تدريبها على كمية كبيرة من البيانات المتنوعة من حيث طريقة نطق مختلف الكلمات عبر أشخاص مختلفين ومتنوعين من حيث الجنس والخلفيات الثقافية.
