🤠算法段开发过程记录

type
status
date
slug
summary
tags
category
icon
password
ResNet18与VGG的代码研究
VGG16
ResNet18
模型训练技巧
  1. batch 设小一点 就不会显存不足
  1. 验证数据是不需要shuttle的
  1. 数据增强的处理
  1. ipynb文件
  1. 5大超参数: epoch batch learning-rate step-size gamma
  1. 用pandas库度csv
  1. 每个py的分组，文件的分组
  1. 打印网络 print(net)
  1. 打印报告
  1. 后台运行 hop
      2. nohup python eval.py
      cat nohup.out
数据处理技巧 prompt格式
combined_dataset.json 中的数据集是 {"Context":"I'm happy, and you?", "Response": 'i'm happy,too'} {"Context":"I'm sad, and you?", "Response": ‘i'm sad,,too'} ...... 希望转换到新文件dataset_conversation.json内，以这种格式存储 [   {     "id": "identity_0",     "conversations": [       {         "from":"human",,         "value": "I'm happy, and you?"       },        {         "from": "gpt",         "value": 'i'm happy,too'       } ]   },
 
  {     "id": "identity_1",     "conversations": [       {         "from":"human",,         "value": "I'm sad, and you?"       },        {         "from": "gpt",         "value": ‘i'm sad,,too'       } ]   },
…
]
请写出python代码
GPT使用技巧
安装软件少听gpt 多听软件
网络不好看代理，网路不好开全局
pip install -r requirements.txt
这种来提高效率
python 返回数值，即修改数值的时候要怎么做
pip install -r requirements_talk.txt -r的
langchain使用问题
is_sm80 || is_sm90
pip install --force-reinstall --pre torch --index-url https://download.pytorch.org/whl/nightly/cu118
 
 
 

fastAPI

  1. Pydantic是一个数据验证和设置管理工具，它使用Python类型注解来验证输入数据的类型和结构。
  1. python很多bug是类型的问题，官方文档一般没问题，排查错误的时候
    1. prompt: 把这个接口写的更安全更规范一点
    1. BUG记录
      1. 请求maxtoken限制了，不完整，傻逼bug
      2. numpy==1.26.4 要重视 报错信息
      3. gpt4 vision 还会有图片过大的情况，接口是非常不稳定的
    1. python 的规范，docker打包， 如何打包成docker， Docker Desktop 怎么装软件
    1. 保存运行环境
      1. ASGI 是一个接口标准，定义了异步Web应用和服务器之间的通信协议，而 Uvicorn 是实现了这个标准的具体服务器。、
      1. Uvicorn 既然是服务器，那就会有服务器一些东西，比如
          2.  uvloop 作为其事件循环、 httptools 作为其 HTTP 解析器，WebSocket，中间件
      1. 装饰器接受一个函数作为参数，并返回一个新的函数(给旧函数加头加尾)
      1. 异步编程
        1. async def process_data(): async使得多个调用并发进行
        2. 并发函数中，如果调用没有await 函数内调用的其他并发函数不能相对于 函数阻塞。会报错。
        3. 并发函数中，如果调用耗时的 非异步函数，则会发生阻塞，需要在异步函数中调用同步函数，你应该使用 asyncio.to_thread 来避免阻塞事件循环。data = await asyncio.to_thread(fetch_data)
        4. 执行一个可能需要等待的操作（如网络请求、文件I/O等）时，用 async 定义一个异步函数，并在调用时使用 await 来等待操作完成。
      1. python多进程编程
      1. 异常抛出
        1. 日志系统
        1. app = FastAPI() 实例化类
        1. 调试模式
        1. OpenAPI 规范 接口的各种规范
        1. python # init.py all = ['module1', 'module2']
        1. FastAPI 跟APIRouter 两个类不一样，一个个对照stackover 出来的
        1. setup 要怎么搞
        1. 参数验证（用时查）
         
        上一篇
        创业一百问
        下一篇
        我是肖徽腾
        Loading...
        目录