pyspark 統計行數 過濾

2021-10-01 11:12:03 字數 889 閱讀 3041

windows環境

#方法2需要複製這三行

import findspark

findspark.init(

)import pyspark

import sys

from pyspark import sparkcontext

# 建立乙個名為lines的rdd

lines = sc.textfile(

"c:/data/readme.txt"

)# c:/data/readme.txt

lines.count(

)# 統計rdd中的元素個數

lines.first(

)# 這個rdd中的第乙個元素,也就是readme.md的第一行

# sc.stop

filter過濾

#方法2需要複製這三行

import findspark

findspark.init(

)import pyspark

import sys

from pyspark import sparkcontext

# 建立乙個名為lines的rdd

lines = sc.textfile(

"c:/data/readme.txt"

)# c:/data/readme.txt

pythonlines = lines.

filter

(lambda line:

"affassfasf"

in line)

pythonlines.first(

)# 這個rdd中的第乙個元素,也就是readme.md的第一行

# sc.stop

ThinkPhp輸入引數過濾

i id 0 獲取id引數 自動判斷get或者post,不存在時返回預設值0 i post.name htmlspecialchars 獲取 post name i get.獲取 get 使用系統內建的i函式是避免輸入資料出現安全隱患的重要手段,i函式預設的過濾方法是htmlspecialchars...

PHP引數過濾的函式

stripslashes stripslashes 反引用乙個引用字串 說明string stripslashes string str 反引用乙個引用字串。note 如果 magic quotes sybase 項開啟,反斜線將被去除,但是兩個反斜線將會被替換成乙個。乙個使用範例是使用 php 檢...

Linux統計檔案行數

語法 wc 選項 檔案 說明 該命令統計給定檔案中的位元組數 字數 行數。如果沒有給出檔名,則從標準輸入讀取。wc同時也給出所有指定檔案的 計數。字是由空格字元區分開的最大字串。該命令各選項含義如下 c 統計位元組數。l 統計行數。w 統計字數。這些選項可以組合使用。輸出列的順序和數目不受選項的順序...