GPT-4o在人机交互体验上实现了重大突破，能以自然流畅的对话与用户互动，支持文本、音频和图像的多模态输入输出。OpenAI表示，GPT-4o里的“o”是Omni的缩写，也就是“全能”的意思，接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出。它可以在短至232毫秒、平均320毫秒的时间内响应音频输入，与...
北京时间5月14日凌晨，OpenAI在一场26分钟的直播中发布了新一代旗舰生成模型GPT-4o，展示了可以毫秒级反应、识别人类情绪进行音视频交互，可多模态输入/输出等一系列新能力。伴随这些能力的还有一个新的桌面版的ChatGPT以及新的用户界面，首席技术官米拉（Mira Murati）表示，这是为了让更多人更方便地使用，她宣布了...
不少科技界人士发表了对OpenAI此次产品更新的看法。“我没想到GPT-4o会接近GPT-5。传闻中OpenAI的‘Arrakis’模型就采用多模态输入和输入。事实上，它可能是GPT-5的一个早期检查点（checkpoint），尚未完成训练。”英伟达高级科学家Jim Fan在社交媒体上评论称。Jim Fan认为，在谷歌召开I/O大会前，OpenAI宁愿发布超过...
从前述体验看，GPT-4o的反应速度和多模态能力令人印象深刻。OpenAI首席执行官阿尔特曼直言，新的GPT-4o是OpenAI“有史以来最好的模型”。那么，GPT-4o的多模态能力是如何“炼”成的呢？这背后的秘密或许可以从OpenAI联合创始人John Schulman当地时间5月15日与科技播客主持人Dwarkesh Patel的对话中一窥究竟。John Sc...
GPT-4o的创新之处在于，它是OpenAI的首个整合文本、视觉和音频多模态输入与输出的模型。通过端到端地训练一个统一的新模型，实现了所有输入和输出的处理都由同一个神经网络完成。除了多模态输入输出，GPT-4o还具备更快的响应速度：能够在短至232毫秒内响应音频输入，平均响应时间为320毫秒，接近人类在对话中的响应...
音频数据:如果模型需要处理音频输入,也要收集相关的音频文件,并进行必要的音频特征提取。 二、模型选择与设计 选择一个适合多模态(文本、视觉、音频)输入的模型架构,如多模态Transformer模型,关于Transformer模型实现细节可以参考Lion老师往期文章 设计模型的输入层以...
GPT-4o 本次优化主要集中在多模态能力上,生成速度和多模态能力全面升级,实现了多模态的端到端生成。优化了20种语言的生成能力,在英文文本和代码能力上较上一代略有改进。 GPT-4o 将文本、视觉和音频处理整合到一个神经网络中,保留更多上下文信息,并能识别和输出如笑声、歌唱和情感表达等内容。它可以实时对音频、...
多模态输入与输出能力:GPT-4o能够处理文本、音频和图像输入,并能生成这些形式的任意组合输出。这意味着它可以接受文本、音频和图像作为输入,并能以同样的形式生成输出。 实时对话反馈:该模型提供快速响应,特别是在音频输入的平均响应时间为320毫秒,这使得其与人类对话反应时间相近。
多模态输入/输出则无需赘述,基于 GPT-4o 的 ChatGPT 能够识别文本、语音与视觉信息,并根据需求以任一形式进行回答。 两个ChatGPT cosplay 客服与顾客对话 在感知情绪与情绪反馈方面,升级后的 ChatGPT 能够根据人物自拍照,快速分析人物的面部情绪。同时还可以根据对话者的要求调整说话时的语气,从夸张戏剧到冰冷机械...