从 Web 数据源和 API 获取数据

开始前的准备工作

1. 下载并安装最新版的 IntelliJ IDEA Ultimate.

2. 在 IntelliJ IDEA 中安装 Kotlin Notebook plugin.

   tip

   或者, 也可以在 IntelliJ IDEA 中, 通过菜单 Settings | Plugins | Marketplace, 找到 Kotlin Notebook plugin.

3. 选择 File | New | Kotlin Notebook, 创建一个新的 Kotlin Notebook.

4. 在 Kotlin Notebook 中, 运行以下命令, 导入 Kotlin DataFrame 库:

   %use dataframe

从 API 获取数据

使用 Kotlin Notebook 和 Kotlin DataFrame 库从 API 获取数据, 是通过 .read() 函数完成的, 类似于 从文件获取数据, 例如 CSV 或 JSON. 但是, 在使用基于 Web 的数据源时, 你可能需要额外的格式化处理, 来将原始的 API 数据转换为结构化的格式.

我们来看一个从 YouTube 数据 API 获取数据的示例:

1. 打开你的 Kotlin Notebook 文件 (.ipynb).

2. 导入 Kotlin DataFrame 库, 数据处理任务需要使用它. 在一个代码单元(Code Cell)中运行以下命令:

   %use dataframe

3. 在一个新的代码单元中安全的添加你的 API Key, 这个 Key 用来对 YouTube 数据 API 请求进行认证. 你可以从 credentials 页面 得到你的 API Key:

   val apiKey = "YOUR-API_KEY"

4. 创建一个 load 函数, 参数是一个表示 path 的字符串, 并使用 DataFrame 的 .read() 函数, 从 YouTube 数据 API 获取数据:

   fun load(path: String): AnyRow = DataRow.read("https://www.googleapis.com/youtube/v3/$path&key=$apiKey")

5. 将获取的数据组织为行, 并通过 nextPageToken 处理 YouTube API 的分页. 这可以保证你能够得到跨越多页的数据:

   fun load(path: String, maxPages: Int): AnyFrame {
       // 初始化一个可变的 List, 保存数据的行.
       val rows = mutableListOf<AnyRow>()
   
       // 设置初始页的 path, 用于载入数据.
       var pagePath = path
       do {
           // 从当前页的 path 载入数据.
           val row = load(pagePath)
           // 将载入的数据作为行, 添加到 List.
           rows.add(row)
   
           // 如果存在, 获得下一页的 token.
           val next = row.getValueOrNull<String>("nextPageToken")
           // 更新页的 path, 用于取得下一页, 其中包含新的 token.
           pagePath = path + "&pageToken=" + next
   
           // 继续装载, 直到不存在下一页.
       } while (next != null && rows.size < maxPages)
   
       // 拼接已装载的所有行, 并作为 DataFrame 返回.
       return rows.concat()
   }

6. 在一个新的代码单元中, 使用前面定义的 load() 函数, 获取数据并创建一个 DataFrame. 这个示例会获取数据, 这里是关于 Kotlin 的视频, 每页最大 50 条结果, 最大 5 页. 结果保存在 df 变量中:

   val df = load("search?q=kotlin&maxResults=50&part=snippet", 5)
   df

7. 最后, 从 DataFrame 抽取元素, 并拼接在一起:

   val items = df.items.concat()
   items

清理和优化(Refine)数据

准备你的数据集用于分析时, 清理和优化(Refine)数据是关键步骤. Kotlin DataFrame 库 为这些任务提供了强大的功能. move, concat, select, parse, 和 join 等方法, 对于组织和转换你的数据至关重要.

我们来看一个示例, 其中的数据已经 使用 YouTube 的数据 API 获取 了. 目标是清理并重构数据集, 以便进行深入分析:

1. 你可以首先重整并清理你的数据. 包括将某些列移动到新标题下, 以及删除不需要的列, 以提高清晰度:

   val videos = items.dropNulls { id.videoId }
       .select { id.videoId named "id" and snippet }
       .distinct()
   videos

2. 从清理后的数据获取分块 ID (Chunk ID), 并装载对应的视频统计数据. 包括将数据分为较小的批次, 并获取更多详细信息:

   val statPages = clean.id.chunked(50).map {
       val ids = it.joinToString("%2C")
       load("videos?part=statistics&id=$ids")
   }
   statPages

3. 将获取的统计数据拼接起来, 并选择相关的列:

   val stats = statPages.items.concat().select { id and statistics.all() }.parse()
   stats

4. 将已有的清理后的数据, 与新获取统计数据结合起来. 这一步会将 2 组数据合并为一个综合的 DataFrame:

   val joined = clean.join(stats)
   joined

这个示例演示了如何使用 Kotlin DataFrame 的各种函数清理, 重组织, 并增强你的数据集. 每个步骤都是为了优化数据, 使得它更适合于 深入分析.

在 Kotlin Notebook 中分析数据

在你成功的使用 Kotlin DataFrame 库 的函数 获取 并 清理和优化你的数据 之后, 下一步是分析这个准备好的数据集, 抽取有意义的信息.

有很多有用的方法, 例如 groupBy 用于数据分组, sum 和 maxBy 用于 汇总统计, 以及 sortBy 用于数据排序. 通过这些工具, 你可以高效的执行复杂的数据分析任务.

我们来看一个示例, 使用 groupBy 对视频按照 channel 进行分组, 使用 sum 计算每个分组的总计观看次数, 使用 maxBy 查找每个组中最新的或最多观看次数的视频:

1. 设置引用, 简化对特定列的访问:

   val view by column<Int>()

2. 使用 groupBy 方法, 根据 channel 列分组数据, 并排序.

   val channels = joined.groupBy { channel }.sortByCount()

   在结果表中, 你可以交互式的浏览数据. 每行对应一个 channel, 点击一行的 group 字段, 会展开这个行, 显示这个 channel 的视频的更多细节.

   

   你可以点击左下方的表格图标, 返回分组的数据集.

   

3. 使用 aggregate, sum, maxBy, 和 flatten, 创建一个 DataFrame, 汇总每个 channel 的总计观看次数, 以及它的最新或最多观看次数的视频的详细信息:

   val aggregated = channels.aggregate {
       viewCount.sum() into view
   
       val last = maxBy { publishedAt }
       last.title into "last title"
       last.publishedAt into "time"
       last.viewCount into "viewCount"
       // 对 DataFrame 根据观看次数逆序排序, 并转换为扁平结构.
   }.sortByDesc(view).flatten()
   aggregated

分析结果如下:

关于更多高级技术, 请参见 Kotlin DataFrame 文档.

下一步做什么

• 学习使用 Kandy 库 进行数据可视化

• 阅读 在 Kotlin Notebook 中使用 Kandy 进行数据可视化, 学习数据可视化的更多知识

• 关于 Kotlin 中用于数据科学和分析的工具和资源的广泛的概述, 请参见 用于数据分析的 Kotlin 和 Java 库