3）端到端微调，解冻大语言模型允许端到端训练。在编码器引导下微调BART模型，实现EEG到文本的生成。需要注意的是，对词级特征输入并不需要第一阶段的预训练，可以直接从第二阶段开始。
对标记的依赖性:尽管DeWave方法在文中声称可以在没有标记（如眼动追踪）的情况下实现脑电波到文本的翻译，但它仍然依赖于基于标记的对齐过程。
研究发现，ChatGPT在辨识疾病之间的已知关系方面表现不佳，例如在一个病例中未能将自闭症与坏血病（维生素C缺乏）联系起来。研究者建议通过专门选择性的培训，使ChatGPT能够更好地利用准确和可信的医学文献，而非依赖互联网上可能包含不准确信息和误导的内容。他们还提出，通过提供更实时的医学数据，模型可以进行“调谐”以提高其准确性。
2️⃣ GPT-engineer 🧪
另外，BakLLaVA是使用LLaVA1.5架构增强的Mistral7B基础模型，已经在多个基准测试中优于LLaVA213B。这三种开源视觉模型在视觉处理领域具有极大的潜力。