ML HARwithDTs

作业1

总共20分（将缩放到10分）

人类活动认可（HAR）

人类活动识别（HAR）是指机器确定用户执行的各种活动的能力。从这些系统/算法中获取的知识已集成到许多应用程序中，相关设备将其用于识别动作或手势并执行响应中的预定义任务。

数据集

我们有兴趣根据加速度计数据对人类活动进行分类。我们将使用一个名为UCI-HAR的公开可用数据集。该数据集可在此处下载。在您的参考文献中，也可以在此处获得参与者收集参与者加速度计数据的作者的YouTube视频。

任务1：探索性数据分析（EDA）[3分]

预处理

我们将在wertial_signals文件夹中使用原始加速度计数据。提供的脚本， CombineScript.py ，组织和分类加速度计数据，为每个类别建立单独的类，并将参与者数据编译到这些类中。 MakeDataset.py脚本用于读取所有参与者数据并创建一个数据集。然后将数据集分为火车，测试和验证集。我们专注于活动的前10秒，这转化为最初的500个数据样本，因为采样率为50Hz。

• 步骤1>将CombineScript.py和MakeDataset.py放在包含UCI数据集的同一文件夹中。在运行脚本之前，请确保您已移至文件夹中。如果您要从其他文件夹中运行脚本，则必须使用脚本中的路径来使其正常工作。
• 步骤2>运行CombineScript.py并提供UCI数据集中测试和火车文件夹的路径。这将创建一个称为Combined的文件夹，该文件夹将包含来自所有参与者的所有数据。这就是大多数数据集的组织方式。将来您可能会遇到类似的数据集结构。
• 步骤3>运行MakeDataset.py并提供Combined文件夹的路径。这将创建一个数据集，该数据集将包含火车，测试和验证集。您可以使用此数据集训练模型。

问题

1. 从每个活动类别中绘制一个样本数据的波形。您能看到活动之间有任何差异/相似性吗？您可以绘制一个具有6列的子图，以显示活动之间的差异/相似性。您是否认为该模型可以根据数据对活动进行分类？ [0.5分]
2. 您是否认为我们需要机器学习模型来区分静态活动（铺设，坐着，站立）和动态活动（步行，步行_Downstairs，walking_upstairs）？看线性加速度 $（acc_x^2+acc_y^2+acc_z^2）$对于每个活动，并证明您的答案是合理的。 [0.5分]
3. 使用PCA可视化数据。 [1分]
   • 在总加速度上使用PCA（主要组件分析） $（acc_x^2+acc_y^2+acc_z^2）$将加速度时间表压缩为两个特征，并绘制一个散点图以可视化不同类别的活动。
   • 接下来，使用tsfel（特征器库）创建功能（您选择哪些是有用的），然后执行PCA以获得两个功能。绘制散点图以可视化不同类别的活动。
   • 现在，使用数据集提供的功能并执行PCA来获得两个功能。绘制散点图以可视化不同类别的活动。
   • 比较PCA在总加速度，TSFEL和数据集功能上的结果。您认为哪种方法更好地可视化数据？
4. 计算TSFEL获得并在数据集中提供的特征的相关矩阵。确定彼此高度相关的功能。有任何冗余功能吗？ [1分]

任务2：人类活动识别的决策树[3分]

问题

1. 使用Sklearn库来训练决策。 [1.5分]
   • 使用原始加速度计数据训练决策树模型。报告模型的准确性，精度，召回和混乱矩阵。
   • 使用TSFEL获得的功能训练决策树模型。报告模型的准确性，精度，召回和混乱矩阵。
   • 使用数据集中提供的功能训练决策树模型。报告模型的准确性，精度，召回和混乱矩阵。
   • 比较三个模型的结果。您认为哪种型号更好？
2. 使用上述所有3种方法，使用不同深度（2-8）的训练决策树。将模型的精度绘制在测试数据与树的深度上。 [1分]
3. 是否有任何参与者/激活模型表现不好？如果是，为什么？ [0.5分]

任务3：大型语言模型（LLMS）的及时工程[4分]

零射，很少射击提示：

零射击提示涉及提供一个提示或一组指令的语言模型，该模型允许其生成文本或执行任务，而无需任何明确的培训数据或标记的示例。预计该模型将仅根据提示及其内部知识来准确地生成高质量的文本或准确执行任务。

很少有射击提示类似于零拍的提示，但它涉及为模型提供与特定任务或数据集相关的标记示例或提示。然后，预计该模型将基于少数标记的示例及其内部知识来生成高质量的文本或准确执行任务。

任务说明：

为您提供了一本Python笔记本电脑，该笔记本显示了如何使用语言模型（LLM）使用零射击和很少的弹药提示。笔记本中的示例涉及基于文本的任务，但是LLM也可以应用于广泛的任务（学生学习更多的学生可以在这里和这里阅读）。

查询将以特征加速度计数据的形式提供，该模型应预测执行的活动。

• 零射击学习：模型应该能够根据加速度计数据预测活动，而无需任何明确的训练数据或标记的示例。
• 很少有射击学习：该模型还应该能够根据有限数量的标记示例或与特定任务相关的提示来预测活动。

问题

1. 演示如何使用零拍学习和几乎没有射击学习来根据特征加速度计数据对人类活动进行分类。定性地证明了通过零拍学习的几次学习的表现。哪种方法的性能更好？为什么？ [1分]
2. 定量地将几次学习的精度与决策树进行比较（如果遇到限制速率问题，则可以使用测试集的子集）。哪种方法的性能更好？为什么？ [1分]
3. 在基于特征加速度计数据对人类活动进行分类的背景下，零拍学习和几乎没有射击学习的局限性是什么？ [1分]
4. 从以前从未见过的全新活动中给出输入时，该模型会分类什么？ [0.5分]
5. 使用随机数据测试模型（确保数据具有与以前输入相同的维度和范围）并报告结果。 [0.5分]

任务4：野外数据收集[4分]

任务说明

对于此练习标记，将不取决于您获得的数字，而是在您遵循的过程中使用智能手机的Physics Toolbox Suite等应用程序以.csv/.txt格式收集数据。确保收集至少15秒的数据，修剪边缘以获得10秒的相关数据。还在录制数据时录制自己的视频。将来的某些作业将需要该视频。每个活动类别收集3-5个样品。

要照顾的事情：

• 确保将手机放置在所有活动中。
• 确保手机在活动期间处于相同的对齐状态，因为更改对齐方式将更改收集的数据并会影响模型的性能。
• 确保每个文件至少有10秒的数据进行培训。随着数据以50Hz收集，您将拥有500个数据示例。

问题

1. 使用在UCI-HAR数据集上训练的决策树模型来预测您执行的活动。报告模型的准确性，精度，召回和混乱矩阵。您拥有三个版本的UCI数据集，您可以使用a）加速度计的原始数据，b）TSFEL特征数据，c）作者提供的功能。选择要使用的版本，以确保您的测试数据与培训数据相似。模型的性能如何？ [1分]
2. 使用您收集的数据来预测您执行的活动。决定是否应用预处理和特征，如果是，请选择适当的方法。模型的性能如何？ [1分]
3. 使用使用UCI-HAR数据集的少量发射提示方法来预测您执行的活动。确保您的示例和测试查询都需要进行类似的预处理。模型的性能如何？ [1分]
4. 使用收集的数据使用少量射击提示方法来预测您执行的活动。根据需要采用适当的处理方法。模型的性能如何？ [1分]

笔记 ：

1. 要获取API密钥，请访问https://console.groq.com/login的GroqCloud开发人员控制台。遵循快速启动指南获取您的API密钥。
2. 请勿与任何人共享您的API密钥，也不要公开它或将其上传到任何公共存储库，例如此任务。如果在代码中找到键，您将以1.0分的扣除对您进行惩罚。
3. 建议编写降价文件（.md）或使用Python Notebook（.IPYNB）来演示您的推理，结果和发现。

决策树实施[6分]

1. 在树/base.py中完成决策树实现。该代码应以Python编写，并且不使用除课堂中共享或已经在代码中导入的库以外的现有库。您的决策树应适用于四种情况：i）离散功能，离散输出； ii）离散功能，实际输出； iii）真实功能，离散输出；真实功能，实际输出。您的模型应仅接受真实的输入（对于离散输入，您可以将属性转换为单热编码的向量）。您的决策树应能够使用熵或giniindex用作分裂输出的标准。您的决策树应能够使用MSE作为分割实际输出的标准。您的代码还应该能够绘制/显示决策树。 [2.5分]

   您应该编辑以下文件。

   • metrics.py ：完成此文件中的性能指标功能。

   • usage.py ：运行此文件以检查您的解决方案。

   • 树（目录）：决策树的模块。

     • base.py ：完成决策树类。
     • utils.py ：完成所有实用程序功能。
     • __init__.py ：不要编辑此

   您应该运行usage.py来检查您的解决方案。

2. 使用以下代码生成数据集

    from sklearn . datasets import make_classification
   X , y = make_classification (
   n_features = 2 , n_redundant = 0 , n_informative = 2 , random_state = 1 , n_clusters_per_class = 2 , class_sep = 0.5 )
   
   # For plotting
   import matplotlib . pyplot as plt
   plt . scatter ( X [:, 0 ], X [:, 1 ], c = y )

   a）在上述数据集上显示您的决策树的用法。前70％的数据应用于培训目的，其余30％用于测试目的。显示您在测试数据集上实现的决策树的准确性，每类精确度和回忆。 [0.5分]

   b）在数据集上使用5倍的交叉验证。使用嵌套交叉验证找到树的最佳深度。 [1标记]

   您应该为包含上述实验的代码编辑classification-exp.py

3. a）显示您对汽车效率问题的决策树的用法。 [0.5分]

   b）将模型的性能与Scikit Learn的决策树模块进行比较。 [0.5分]

   对于包含上述实验的代码，您应该编辑auto-efficiency.py 。

4. 创建一些虚假数据，以进行一些关于决策树算法的运行时复杂性的实验。创建一个带有n个样本和M二进制功能的数据集。改变M和N以绘制以下时间：1）学习树，2）预测测试数据。这些结果与决策树创建和预测的理论时间复杂性相比。您应该对所有四个决策树进行比较。 [1分]

   您应该为包含上述实验的代码编辑experiments.py 。

您必须通过创建Asst#<task-name>_<Q#>.md

属说明：

1. 在Jupyter笔记本或MD文件中显示您的结果。如果您选择使用MD文件，则还应包括代码。
2. 您可以将决策树的Scikit-Learn实施用于人类活动识别。
3. 此任务为20分，将缩减为10分。