谷歌CVPR 2023神器！无专用硬件打造超强注意力机制，小白也能变大佬！
新智元报道编辑：LRS【新智元导读】为了在用户体验中突出关键部分，首先需要吸引用户的注意力。人每时每刻都在处理大量信息，例如每秒钟视网膜接收到的数据量高达10的10次方比特，但人类会选择性地专注于与任务相关或感兴趣的区域，以便进一步处理，例如记忆、理解和采取行动。对人类注意力的建模，即显著性模型（saliencymodel），在神经科学、心理学、人机交互（HCI）和计算机视觉等领域正受到越来越多的关注。预测「哪些区域可能吸引注意力」的能力在图形、摄影、图像压缩和处理以及视觉质量测量等领域具有许多重要的应
新智元报道
编辑：LRS
【新智元导读】为了在用户体验中突出关键部分，首先需要吸引用户的注意力。人每时每刻都在处理大量信息，例如每秒钟视网膜接收到的数据量高达10的10次方比特，但人类会选择性地专注于与任务相关或感兴趣的区域，以便进一步处理，例如记忆、理解和采取行动。
对人类注意力的建模，即显著性模型（saliency model），在神经科学、心理学、人机交互（HCI）和计算机视觉等领域正受到越来越多的关注。
预测「哪些区域可能吸引注意力」的能力在图形、摄影、图像压缩和处理以及视觉质量测量等领域具有许多重要的应用。
然而，使用机器学习和基于智能手机的凝视估计来加速眼动研究需要专门的硬件，每台成本高达三万美元，这限制了其广泛应用。
最近，谷歌的研究人员发表了两篇相关领域的研究论文，分别在CVPR 2022和CVPR 2023上发布，研究了如何利用「人类注意力预测模型」来提升用户体验。例如，通过图像编辑操作最大限度地减少视觉混乱、分心或伪影，使用图像压缩加快网页或应用程序的加载，并引导机器学习模型实现更直观的类人解释和模型性能。
这两篇论文主要关注图像编辑和图像压缩，并讨论了在具体应用场景下，关于注意力建模的最新进展。
注意力引导的图像编辑对人体注意力的建模，通常需要将眼睛看到的图像作为输入，如自然图像或网页的屏幕截图，并将预测的热力图作为输出。
预测得到的热力图会根据「眼球跟踪器」或「鼠标悬停/点击」等收集到的实时注意力近似值进行评估。
之前的模型主要利用手工制作的视觉线索特征，如颜色/亮度对比度、边缘和形状等，但最近一些方法开始转向基于深度神经网络来自动学习判别特征，使用的模型包括卷积、递归神经网络以及视觉Transformer网络等。
在CVPR 2022上，谷歌发表的一篇论文中，利用深度显著性模型（deep saliency models）进行视觉逼真的编辑（visually realistic edits），可以显著改变观察者对不同图像区域的注意力。
论文链接：例如，移除背景中分散注意力的物体可以减少照片的杂乱程度，从而提高用户满意度；同样，在视频会议中，减少背景中的混乱度也可以增加对主要发言者的关注度。
为了探索哪些类型的编辑效果是可实现的，以及这些效果如何影响观众的注意力，研究人员开发了一个优化框架，用于使用可区分的预测显著性模型来引导图像中的视觉注意力。
给定输入图像和表示干扰物区域的二元遮罩，使用显著性预测模型对遮罩内的像素提供指导并编辑图像，降低遮罩区域内的显著性。
为了确保编辑后的图像自然且逼真，研究人员精心选择了四种图像编辑操作符，包括两个标准图像编辑操作（即重新着色和图像扭曲）；以及两个可学习的操作符，即多层卷积滤波器和生成模型（GAN）。
利用这些操作符，该框架可以产生各种强大的效果，包括重新着色、修复、伪装、对象编辑、插入以及面部属性编辑，并且所有这些效果都是由单个预训练的显著性模型驱动的，没有任何额外的监督或训练。
减少视觉干扰的例子，由显著性模型与几个操作符引导，干扰物区域被标记在显著性图（红色边框）的顶部。
需要注意的是，研究人员的目标不是与产生每种效果的专用方法竞争，而是演示如何通过嵌入在深度显著性模型中的知识来指导多个编辑操作。
个性化的显著性建模之前的研究假定单个显著性模型即可完成对全部人群的预测任务，但人类的注意力在个体之间是有差异的：虽然对显著线索的检测是一致的，但具体的顺序、解释和注视分布可能有很大差异，这也为个人或团体提供了创建个性化用户体验的机会。
在CVPR 2023的一篇论文中，谷歌的研究人员引入了一个用户感知的显著性模型，这是首个仅用单模型即可预测某个用户、一组用户和通用人群注意力的框架。
论文链接：该框架的核心是将每个参与者的视觉偏好与每个用户的注意力热力图和自适应用户遮罩进行组合，需要在训练过程中每个用户的注意力标注都是可用的，可用的数据集包括用于自然图像的OSIE移动的凝视数据集、网页的FiWI和WebSaliency数据集。
该模型并不预测表示所有用户的注意力的单个显著性热力图，而是预测每个用户的注意力图以编码个体的注意力模式。
此外，该模型采用用户掩码（大小等于参与者数量的二进制向量）来指示当前样本中参与者的存在，使得模型可以选择一组参与者，并将偏好组合成单个热力图。
预测注意力与GT值，EML-Net是最先进模型的预测，对于两个参与者/组具有相同的预测；我们提出的用户感知显著性模型的预测，可以正确预测每个参与者/组的独特偏好。第一个图像来自OSIE图像集，第二个图像来自FiWI。
以显著特征为中心的渐进式图像解码除了图像编辑，人类注意力模型也可以改善用户的浏览体验。
在上网时，最让人感到不舒服的用户体验之一就是等待加载带有图像的网页，特别是在网速很慢的情况下，一种改善用户体验的方式是图像的渐进式解码，可以随着数据逐渐下载再解码，并显示越来越高分辨率的图像，直到全分辨率图像准备就绪。
渐进式解码通常按顺序进行（例如，从左到右、从上到下），使用预测注意力模型，就可以基于显著性对图像进行解码，从而可以首先发送显示最显著区域的细节所需的数据。
例如，在肖像中，用于面部的字节可以优先于用于失焦背景的字节，因此用户更早地感知到更好的图像质量，并体验到显著减少的等待时间。
基于这个想法，预测注意力模型可以帮助图像压缩和更快地加载具有图像的网页，改善大型图像和流媒体/VR应用的渲染。
结论上面两篇论文展示了人类注意力的预测模型如何通过具体的应用场景实现令人愉快的用户体验，例如图像编辑操作，可以减少用户图像或照片中的混乱、分心或伪影，以及渐进式图像解码，可以大大减少用户在图像完全渲染时的感知等待时间。
文中提出的用户感知显著性模型可以进一步为个人用户或群体个性化上述应用程序，从而实现更丰富、更独特的体验。
参考资料：
https://ai.googleblog.com/2023/06/enabling-delightful-user-experiences.html
11月12日消息，如今的微软几乎成了科技巨头的代名词，即便是市场反响平平的产品，也往往能获得可观的销量。然而在1980年代中期，微软的地位远未达到今天的高度。正是在那个阶段，诞生了微软历史上销量最低的操作系统——名为“OS/2forMach20”的特殊版本。当时，微软正与IBM联手开发一款旨在取代Windows和DOS的新操作系统：OS/2。尽管OS/2整体在当时的PC用户中口碑尚可，但这个产品线中的一个极其小众的分支，却成为了公司史上销售最惨淡的案例。据RaymondChen援引一位前同事的回忆
无论是投入AI领域，还是MR领域，手机厂商最终都面临一个共同的挑战：能否让用户愿意放弃手中的平庸产品，慷慨地为新产品买单。春节前后的科技圈，被两个引人注目的现象级事件所席卷。一个是OpenAI发布的一系列demo视频，只需简单的几个提示词，文生视频模型Sora就能生成一段场景逼真、动作流畅、细节丰富的视频。不仅是影视从业者感到震惊，包括周鸿祎在内的大佬也坦言：通用人工智能的实现时间可能缩短至一两年。另一个是“姗姗来迟”的苹果VisionPro。科技博主们的评价“褒贬不一”，衍生出了不少有趣的段子。但在一
外媒9to5mac发现，全球各地AppleStore里的FineWoven配件均已显示缺货，包括AppleWatch表带和iPhone手机壳。这表明，苹果大概已经彻底放弃了这种"全新材质"的保护壳配件，在今年iPhone16系列已经AppleWatchX发布后，预计会有其他材质的配件代替。FineWoven是什么？去年iPhone15系列发布时，苹果高调宣布将多年使用的iPhone皮革保护壳停产，取而代之的是新研发的精织斜纹（FineWoven）保护壳。皮革保护壳停产的原因皮革保护壳停产的理由是环保。原因
随着时间来到2024年8月30日，今年已经过去了大半，关于今年的整体智能手机市场表现也出现了相关的预测分析。据悉，调研机构CounterpointResearch的最新预测显示，在连续两年下滑之后，全球智能手机出货量将在2024年同比增长5%，达到12.3亿部。由于宏观经济状况和消费者信心持续改善，这一预测较之前的同比增长低于4%有所上调，且这种积极势头将在未来几年持续下去。1.资料显示，2023年全球智能手机出货量同比下降3.2%，至11.7亿部。2.2023年第四季度同比增长8.5%，出货量为3.26
探究Java工厂模式：详解三种实现方式的优缺点及适用场景引言：在软件开发过程中，经常会遇到对象的创建和管理问题。为了解决这个问题，设计模式中的工厂模式应运而生。工厂模式是一种创建型设计模式，通过将对象的创建过程封装在工厂类中，来实现对象的创建与使用的分离。Java中的工厂模式有三种常见的实现方式：简单工厂模式、工厂方法模式和抽象工厂模式。本文将详解这三种实现
10月20日消息，今日，OPPO在一场盛大的发布会上正式揭开了新一代折叠屏手机OPPOFindN3的面纱。发布会后，OPPO的高级副总裁兼首席产品官刘作虎接受了媒体的采访。在被问及华为回归手机市场对行业的影响时，刘作虎坦然表示，各大厂商都在思考这一问题，而OPPO在过去20年中已经历经市场的风风雨雨。他甚至认为，从功能手机向智能手机的转型期相较于现在的竞争环境，挑战更为严峻。刘作虎更加冷静地看待这一局面，他强调，回到产品的本质，做好产品是跨越不同市场周期的唯一方法。他认为，思考其他的事情没有多大意义，重要
9月4日消息，今天有关小米公司最新动向的消息传来。小米公司的高管王腾和卢伟冰最近回到了北京，为一款即将发布的新产品进行紧张的研究和准备工作。这款新产品备受瞩目，王腾在接受采访时甚至形容它为“惊人之作”。有关这款神秘新产品的细节逐渐浮出水面，根据知情人士的爆料，这很可能就是备受期待的RedmiNote13系列。分析人士猜测，这次的焦点或将集中在影像领域，以满足用户对拍摄功能的不断追求。RedmiNote13系列的主打特色在于后置主摄像头，其采用了强大的2000万像素传感器，这款名为三星ISOCELLHP3的
6月28日至30日，2023MWC上海世界移动通信大会在沪举行。据悉，中兴终端携多款全新产品震撼亮相，带来前所未有的视觉感观和科技体验。中兴通讯展台位于上海新国际博览中心N3馆B20，为参展者带去全方位的展示和体验。作为中国技术领先的移动终端设备厂商，中兴通讯在展中秀出一系列重磅终端产品和创新技术，包括智能手机、平板电脑、AR智能眼镜、移动互联及车载、工业互联终端等，集合了最前沿的AI智能应用、最领先移动数据终端、最新的车路协同智慧产品，吸引各类观众人群的关注。AI人工智能重新定义智能终端创新智能终端成为
作者|JAMESVINCENT译者|朱先忠1、生成式人工智能越来越火爆但其产品合法性如何？自去年以来，生成式人工智能越来越火爆。微软、Adobe和GitHub等公司正在将该技术集成到他们的产品中；初创企业正在筹集数亿美元，与之竞争；该软件甚至具有文化影响力，文本到图像的人工智能模型催生了无数的模因文化。但是，仔细听一听任何关于生成式人工智能的行业讨论，你会私下里听到，倡导者和批评者都以越来越担忧的语气低声提出了一个问题：这些事实上是否合法？问题的产生是因为生成式人工智能系统的训练方式。与大多数
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
