产 哥 说：
大熊猫有了“电子奶爸”——在腾讯云生成式AI产业应用峰会上，“全球首个大熊猫行为智能识别模型”正式亮相，识别准确率超过80%。而在这位“奶爸”背后，是11个留着锅盖头、面容稚嫩的00后。
这是一次历时一年多的“养娃”计划。从去年7月开始，中国大熊猫保护研究中心、广东工业大学信息工程学院电子信息工程班与腾讯云联合组成项目小组，探索用腾讯云AI大模型技术自动识别大熊猫采食、喝水、睡觉等行为，并生成报告，全天候掌握熊猫的生活数据。
大熊猫行为智能识别系统
这群来自广东工业大学的学生大多数还不满20岁，却已经过早地体会到了“带娃”的不易。为了用有效数据训练AI算法，项目组的第一个任务就是要从5000多个小时的视频中，筛选出120个小时的有效数据。然后在这120小时的视频里，每隔1秒抽取1帧图片标注大熊猫的行为，平均耗费1个小时才能完成1分钟视频的行为标注。最忙的时候，项目组组织了8位组员，标注了72000张图片，每天都要熬到凌晨四点。
但是，完全通过人工手动标注可以说是“吃力不讨好”，不仅成本高、效率低，也无法保证数据标注的准确度。如果打标签的范围稍微大一点或者小一点，都会对标注的准确性和精度产生影响。在腾讯云TI平台半自动标注的帮助下，学生们快速清洗筛选出具有鲜明行为特征的帧级图像数据，效率提升了近40倍，精确度也大大提升。
腾讯云TI平台提供半自动标注，提升标注效率
除了熬夜标注图片，项目组还要早起“抢算力”。因为视频数据太大，项目组把所有的原始视频都存在了腾讯云上，而一些高速算力的资源很稀缺，需要云端组的成员林宇轩“拼手速”。除了腾讯云服务器上的算力资源，林宇轩还会借助腾讯云TI平台的notebook功能，“它这个算力资源选会更加方便一点，可以随时调用”。
而“带娃”遇到的“bug”远远不止这些。到了需要用标注过的图片进行算法训练时，项目组发现，在120小时的有效视频数据里，大熊猫喝水、睡觉的数据非常少，且这两者难以区分。
“熊猫喝水基本上是静止不动的，不像吃东西时嘴部会有明显的咀嚼动作，”算法组成员陈润宇说，“而且一个24小时的视频，熊猫喝水的时长可能只有几分钟，但这对于算法训练来说是远远不够的。”一开始，项目组在熊猫喝水这个动作上的识别率只达到了20%左右。
为了增加特殊行为的数据量，算法组通过将视频进行翻转的方式，进行了数据增强，最终熊猫的吃、喝、睡三大行为数据量的标注、训练、测试数据集均超过了120分钟。此外，为了区分喝水和睡觉，算法组也对模型结构进行了优化。“我们会加入一些场景理解，比如熊猫趴在水池边时，模型会认为它大概率是在喝水，而不是睡觉。”陈润宇说。
广工腾创班学生讨论算法优化空间
今年，项目组针对算法进行了第二阶段的优化，让“带娃”变得更轻松。包括在室内光线较暗且有遮挡物的情况下，提升对大熊猫进食、睡觉和喝水行为的识别准确度。截至今年10月，覆盖白天、黑夜等不同时间段的90分钟测试数据显示，识别准确率达到了80%。针对进食行为，项目组后期将对竹笋进行分类，并将人工饲养物细分为窝窝头、胡萝卜和苹果三类。
在对算法一遍遍地进行优化之后，项目组一共写下了一万多条代码。后端组成员冯健君说，刚开始，后端管理代码的效率非常低下。使用了腾讯一站式研发管理平台CODING DevOps之后，项目组能够方便地查看代码修改前后的差异、解决代码冲突、实现共享管理。“相比于传统的那种共享文件，或者发送邮件修改代码的方式，我们这个操作可以让整个项目的完成周期缩短大概30%。”冯健君说。
大模型训练过程示意
慢慢地，这11位年轻的“奶爸”从只想“带娃”，开始学会从降成本、提效率的产业角度，把人工智能真正植入日常生活中。
项目组所在的班级也叫“腾创班”，“什么叫腾创班？我期待着他们的腾飞，也期待他们有创新性思维，”班主任蔡念教授说，“这个项目对学生们来说，最重要的收获就是完成了从学生思维到工程师思维的转变。”
在人工智能相关人才培养方面，腾讯云也为广东工业大学提供了 cloud studio 等创新平台工具， 便于师生开展更贴近实用场景的实践训练。
而这群“熊猫奶爸”希望呵护的不仅仅是熊猫，还有熊猫背后的人。
大熊猫饲养员们的工作甚至比“996”还辛苦——每天早上五点多就要起来给熊猫准备早餐，夜间也要经常巡视。为了时刻掌握熊猫的生理和健康状况，他们每隔5分钟左右就要观察一次大熊猫采集进食、休息、喝水等重要行为，并进行文字记录，形成书面的日报、周报、月报等。
而传统的人工书面记录方式存在效率低、分析使用难、易丢失、追溯难等限制，通过人工智能技术把大熊猫行为记录下来，将大熊猫的行为数字化，生成可视化图表，为大熊猫饲养员、管理员提供直观、可靠的参考，也成了这11位00后的重要任务。
基于大熊猫采食行为识别模型，项目组学生开发了相配套的大熊猫智慧信息管理系统。工作人员只需输入熊猫编号并选择日期，就可以生成柱状图、折线图、饼状图等图标，直观展示大熊猫的各行为在24小时内的占比情况，并形成电子版的日报、周报、月报。
大熊猫行为智能识别报告示意
而在一开始，前端组的成员没有一个人学过网页设计的代码编写。“我们搞出来虽然功能能实现，但是上面的布局比较难看，没有规划的那种，浏览器一拉升就会导致一些组件错位之类的事情。”前端组成员周煊凯说。
为了让页面更简洁、美观，周煊凯和成员们参考了其他网站的布局模式，自学了页面组件的代码编写，还在页面标题的前面加上了一只黑白相间的熊猫头像。每一只被标记过的熊猫都有属于自己的个体信息、个体报告，甚至原始数据，方便管理员查看。针对不同的用户，项目组设计了网页端和小程序端，技术人员可以通过网页端进行参数调整，而饲养员通过手机小程序就可以随时查看熊猫的数据。
以大熊猫彩云为例，模型识别后生成的报告显示，彩云一天中大概有4到5个小时都在进食，喝了2次水，睡觉时间超过了12个小时。中国大熊猫保护研究中心专家介绍，大熊猫每日进食时间较长，拥有丰富的行为数据，且进食、喝水、睡觉等行为是判断大熊猫健康状况的重要依据，也是日常饲养过程中非常关注的。比如，长时间不进食或进食时间不足均可能会导致营养不良，有的行为和饮食异常也是生病的征兆。有了AI这个“电子奶爸”，大熊猫就能得到24小时不间断的“照顾”。
中国大熊猫保护研究中心的大熊猫
在中国，人工圈养大熊猫的历史已经有70多年了。圈养大熊猫的种群数量从最初的10余只扩大到了670余只，而用来记录繁育数据的纸张摞起来已经比珠穆朗玛峰还高。
而这群00后大学生，正在用AI把这座“珠穆朗玛峰”一点点削平。