从此
📄文章 #️⃣专题 🌐上网 📺 🛒 📱

AI计算、GPU显卡

综述

术语概念:
  AGI - 通用人工智能(Artificial general intelligence)

  UGC - 用户产生内容(User generated content)
  AIGC - 人工智能生成内容(AI-Generated Content),AIGC指通过AI生成具体应用内容,而GenAI则指生成新数据的技术形式。
  GenAI - 生成式人工智能(Generative artificial intelligence),GenAI领域比AIGC更广泛。

  GenAI Vs. AIGC

  深度伪造(英语:Deepfake),简称深伪,是英文“deep learning”(深度学习)和“fake”(伪造)的混成词,专指基于人工智能的人体图像合成技术的应用。此技术可将已有的图像或影片叠加至目标图像或影片上。


Google Gemini聊天AI(免费) 注意 - 不配图中文、英文提问均正常;但中文+上传图片则会提示“我没法处理这个文件”和“此图片已遭移除”。

OpenAI ChatGPT 聊天AI(基于GPT4/付费) - OpenAI GPT-4o 相比现有模型,在视觉和音频理解方面尤其出色。

台积电(TSMC/台湾积体电路制造股份有限公司)主营半导体芯片
海力士HBM(High Bandwidth Memory/高带宽内存)GPU内存
英伟达(NVIDIA/台称“輝達”)显卡驱动信息查看命令:nvidia-smi

control net 和 comfy UI 能固定化角色或环境物体。

文生视频(Text-to-video) - OpenAI Sora、Runway Gen-2、Stable Video Diffusion、Pika

AI作曲音乐创作 - SUNO

国产AI聊天 - 阿里云 通义千问;百度 文心一言。

AI Agent(人工智能代理)

GPU显卡

Python是人工智能的首选编程语言吗?

Python深度学习框架:Google TensorFlow 和 Facebook PyTorch

安装NVIDIA CUDA与Facebook PyTorch

文本生成图像或视频(GenAI/文生图):Stable Diffusion(开源免费)、Midjourney(商业付费)、Bing图像创建器(Web版)

Google免费GPU计算 - https://colab.google/ https://www.kaggle.com/

论文《Attention is All You Need》Transformer架构创始八子

大语言模型(英文:Large Language Model,缩写LLM)

Meta发布开源大模型Llama 3

NVIDIA Omniverse

Omniverse:
  USD Composer即整体浅度修改工具;Omniverse Machinima(machine cinema)即引擎电影,等同USD Composer+动画视频编辑器;Omniverse Audio2Face即音频转面部表情制作工具,等同USD Composer+A2F编辑器;
  USD COMPOSER(4GB/安装批处理17分钟)点glb文件右键“Convert to USD”,但无导出gltf的UI界面,似乎仅脚本支持Asset Converter导gltf功能。

Audio2Face:
  注意 - Omniverse内的Blender版本较低,若导出失败,可换用Blender原版重新尝试。
    老版本*.blend文件用新版本Blender导出后可能会丢失部分材质,4.1起(支持USD BS动画导出)建立的新模型则应时时对照,尽量避免。
    Unable to load library: nvinfer_builder_resource.dll 致 Unable to build TensorRT network 问题解决:安装CUDA - developer.nvidia.com/cuda-downloads

  描述:
    Omniverse Audio2Face处理阶段只关心骨骼而无视素材,故只要绑定骨架即可。
    Audio2Face官方提供的3D模型,似乎用到了NVIDIA专用材质,故只能导出白模。
    处理流程 - 3D模型主控方为Blender,导出个*.usd文件供A2F生成BlendShapes权重文件,最后在游戏引擎等客户端组合为动画。

  素材:
    [亲测可用]Rain - A2F测试用人物3D模型(用Blender 4.1+导出/俩眼球没分离,暂不用即不眨眼/导出耗时25分钟)
      官方教程用的就是Rain模型 - https://docs.omniverse.nvidia.com/connect/latest/blender/audio2face.html
    Snow - A2F测试用人物3D模型(用Blender 4.1+导出/耗时数秒)

    Spring - 人物3D模型(导出*.glb报错)
    https://studio.blender.org/characters/phil/v1/ (导出3分钟/但Godot色彩全乱)
    https://studio.blender.org/characters/ellie/v1/ (导出*.glb报错)

Omniverse Machinima:
  视频 - UDIM textures即OmniPBR支持Albedo Map:x..png

Web

WebGPU: https://webgpu.github.io/webgpu-samples/
  const commandEncoder = device.createCommandEncoder();
  const x = commandEncoder.beginRenderPass(...);
  x.setPipeline(...); x.draw(3); x.end();
  device.queue.submit([commandEncoder.finish()]);