National Tsing Hua University Library Newsletter 國立清華大學圖書館館訊
第 67期 發刊日期:2014/3/20 創刊日期:1993/02/15 過期館訊

本•期•目•次
CONTENTS

E-ISSN 1995-8323

館長的話
Message From the Director
館•長•的•話
Message from the Director
編•者•的•話
Message from the Editor
編•者•的•話
Message from the Editor
特•載
Special
精采歲月 美好回憶
Glorious Times, Wonderful Memories
新讀力運動—從閱讀啟動夢想,從閱讀實現夢想
Reading Revolution -Read to Dream Big and Read to Realize a Big Dream
館•藏•知•多•少
Featured Columns
隨時掌握全世界最新動態的報紙資源
Electronic Resources of Newspapers
文字拼圖— 邊玩邊看「空中英語教室影音典藏學習系統」
Word Puzzle—Learning English with “Studio Classroom”
熱門影片排行
Videos of AV Center: Hot Ranking
圖•書•館•心•服•務 Issues
空間管理系統APP
NTHUiBooking: Booking via Your Mobile
清華互動電子書
NTHU Interactive eBooks
悠遊卡數位複印服務
EasyCard-based Photocopy & Print Services
導覽小天使(感恩茶會、感言、招募)
Library Guide
活•動•剪•影
Activities
2013臺灣學術機構典藏研討會
Taiwan Academic Institutional Repository Workshop 2013
愛上圖書館的100個理由
100 Reasons for Falling in Love with NTHU Library
「2013學習+」系列活動報導
2013 Learning to Learn: How to Get an A+
科學與藝術—傑出學人書法展
Science and Art Calligraphy Exhibition of Distinguished Scholars
陳琦覺先生中南半島文物捐贈典禮
Mr. Chen Chi-Chueh’s Gracious Donation of Indo-Chinese Artifacts to National Tsing Hua University
曖曖英華的文物典籍捐贈典禮— 楊儒賓教授的臺灣夢、漢學熱與儒家情
The Donation Ceremony of Professor Yang Rur-bin's Precious Cultural Relics
奈米動手做作品展
Nano Exhibition
學•習•之•旅
Study Tour to Overseas Libraries
大學圖書館績效評鑑理論與實務
University Library Performance Measurement
館•務•動•態
Library Events
日出前的特務行動「GO HAPPY」—啟動搬遷
Special Action “ GO HAPPY” Before Sunrise – Start Relocation
圖書館重點業務報告:
102年10月─103年1
月 Library Report, 2013/10-2014/1
學習之旅Study Tour to Overseas Libraries  PDF下載

大學圖書館績效評鑑理論與實務
University Library Performance Measurement

館訊小組 黃淑香、黃美惠
Shu-shiang Huang、Mei-huey Huang

開春的第一站「圖書館學習之旅」邀請到台師大館長(也是台師大圖資所所長)的柯皓仁教授,與我們分享大學圖書館評鑑的理論與實務。所謂圖書館評鑑即是對照圖書館訂定之目標,評定圖書館各項業務之程度進展與成效。柯館長在今天的主題中,用了一個比較中性的名詞:從「自我改善」而非自「績效評估」的角度來檢視。

他精闢的演講內容包括了:

  • 概論:什麼叫做品質?什麼叫做績效評估?
  • 大專校院圖書館評鑑工作小組執行成果:分享台大陳雪華館長受託館際合作協會所作的大專院校的圖書館評鑑指標
  • 大學圖書館績效評估指標訂定:一些好的績效評估具備了什麼樣的條件?
  • 其他績效評估方法
  • 結論與建議

壹、概論

一、品質

(一) 績效評估目的在使業務和服務擁有且符合「品質」,所謂的品質根據(ISO2000)是指產品或服務能始終如一地符合既定之標準或期望。設定好目的並與整體顧客滿意度連結,才能看到目的與產品的吻合程度,例如以Ubike是否能騎上武嶺來評估其品質則是不對稱的講法。

(二)圖書館品質面向

圖書館品質面向 定義 範例
表現(Performance) 服務能滿足其基本目標 能依需求提供關鍵資訊資源
特色(Feature) 在必要核心外能加諸於服務之次要特點 通告服務
可靠(Reliability) 服務之執行效能具一致性 網站連結不中斷
符合(Conformance) 服務滿足議定的標準 都柏林核心集
持久性(Durability) 服務能持續一段時間 夜間讀者諮詢服務
最新(Currency) 最新的資訊 線上公用目錄
可服務性(Serviceability) 讀者所能獲得之協助程度 客訴服務
美觀性(Aesthetics) 視覺的吸引力 實體圖書館、網站
優使性、可及性(Usability / Accessability) 易於取得和使用 開館時間、網站結構
自信/知能/可信度(Assurance / Competence / Credibility) 對於館員知識能力的良好經驗 參考問題答案之正確性
禮貌/同理心/熱誠(Courtesy /Empathy Responsiveness) 館員的可及性、彈性,以及友善程度 參考服務
溝通(Communication) 能清楚地以非術語說明服務 網站、圖書館指標
速度(Speed) 服務的快速提供 館際互借
提供多樣化服務(Variety of services offered) 可能與品質相衝突,若館藏資源不足以維持所有服務的品質 完整的館藏、多樣化的參考服務管道
品質感知(Perceived quality) 讀者對服務的看法 讀者滿意度

二、績效評估

(一) 績效評估

  1. 績效評估的基本概念是收集統計等資料,用以描述、衡量圖書館的表現。統計是一個量化的指標,但是圖書館的績效卻不見得每個都可量化評量。
  2. 將圖書館的表現和其任務及目標加以比較。
  3. 評估圖書館是否有效與有效率地提供服務。4. 不同的利害相關者關心不同的績效評估面向。基本上圖書館在看績效評估時,理論上會有四個層面:
    • Input(投入—資源):在圖書館的運作上投資了多少的人員、經費、館藏、空間與設備。
    • Process (程序—產品與服務的準備):投入的資源再經過館員的加工與加值服務做完之後才會有產出,讀者也才會去用它,所以理論上也是要看我們如何整體運作。
    • Output (產出—產品與服務的使用):其實就是使用量,如:借閱量、到館人次、下載、參考諮詢次數。
    • Outcome (影響—對讀者的影響):意即讀者因為利用了我們的資源與服務之後會有怎樣的影響?如技能、行為、知識的改變等。這一部份最難評估。

(二)品質管理模型

  1. 首先從館長與組長的角度來看,我們要先訂出圖書館的vision,亦即定義任務與目標
  2. 訂下短中期目標(例如五年發展方向)
  3. 之後要有行動方案,此時涉及資源如何分配以支持行動方案
  4. 做了一陣子之後,透過目標與品質的管控,評估我們的資源與行動方案和要做的事情目標、品質是不是符合?
  5. 如果不符合,就再照這個loop去做。


(品質管理模型圖)

(三)績效指標

  1. 建立績效評估指標是圖書館能否有效進行績效評估的關鍵要素之一。
  2. 績效評估指標定義為「由圖書館統計及相關資料衍生而來的數值、符號或口語表述,用以評估圖書館服務、資源與其他活動的品質與有效性。

(四)績效評量指標的挑選標準一個好的績效評估指標必須要有幾項原則:

  1. Informative (知識):有助於辨識問題與採取可能行動。
  2. Reliable (信度):在同樣環境下使用可產生同樣的結果。
  3. Valid (效度):可針對試圖評量的議題進行評量。
  4. Appropriate (互動):與圖書館作業程序和工作環境相匹配。例如若無閉架式書庫,則不適用閉架式取書所需花費的時間這個指標。
  5. Practical:容易運用與了解、可在合理的努力下達成(工作人員的時間與資格、操作成本、讀者的時間與耐心)。亦即要實現這個指標,基本上是太難的事,不會花太多的時間而耽誤到正事
  6. Comparable (比較):允許相似任務、結構、讀者群的圖書館進行比較。

(五)績效評估的進行

  1. 根據任務與目標來選擇績效指標:通常會挑選與任務和目標比較相關的指標之外,也會注意到指標之間的依存關係。
  2. 需要館員的參與:績效評估是為了全體,而非某個館員的工作表現。
  3. 評估結果的運用:為達自我改善,評估結果需通知館員、與先前的評估結果和與同儕圖書館比較。

(六)績效評估相關計畫

  1. BIX: 德國公共與學術圖書館以德國的公共圖書館為對象,所進行的標竿計畫,該計畫逐年收集相關評估資訊並公布其結果,於2002年,將計畫擴展至學術圖書館,提出17項績效評估指標
  2. CASL (Council of Australian State Libraries):公共圖書館
  3. Swedish Quality Handbook: 各類型圖書館
  4. HELMS (UK Higher Education LibraryManagement Statistics):學術圖書館
  5. Benchmarking of the Netherlands UniversityLibraries:大學圖書館
  6. Norwegian Indicator:學術與公共圖書館

貳、大專校院圖書館評鑑工作小組執行成果

國立臺灣大學圖書館承中華圖書資訊館際合作協會委託,由陳雪華館長擔任小組召集人,任務為研議適用於國內各大專校院圖書館採用之評鑑項目,研擬成果項目分為以下三部分:

一、基本統計資料

(一)是依據CNS13151圖書館統計,大學圖書館相關項目蒐集資料並填列,作為共同評鑑項目與個別評鑑項目之參據,屬於量化數據。

(二)建議蒐集統計項目包括:基本統計項目、館藏、圖書館服務與資源使用、資訊取用
與空間設備、經費、人員。

二、共同評鑑項目

本項為圖書館投入( I n p u t ) 與產出(Output)評鑑項目,為量化指標,可作為館際 間比較。

三、個別評鑑項目

(一)本項為圖書館業務成果(Outcome)評鑑,為質性項目。共9 大類 75 項。

(二)未來進行校務評鑑時,各館可以視館務情況選擇填寫,並作為突顯圖書館優點之
用。

詳細評鑑指標請參閱 http://measure.glis.ntnu.edu.tw/node/22

參、大學圖書館績效評估指標訂定

一、圖書館績效指標分類

根據平衡計分卡的概念分為以下四個構面:

(一)資源、基礎建設(Resources, Infrastructure):評估圖書館資源與服務(館員人數、公共使用電腦)的足夠性與可得性

(二)使用(Use):評估圖書館資源與服務的使用程度(外借、電子資源下載、設施使用)

(三)效率(Effi ciency):評估資源與服務的效率(單次使用成本、採訪或處理文件所需的時間)

(四)潛在機會與發展(Potentials, Development):評估圖書館對新興服務與資源的投入,以及圖書館能取得充足經費或發展的能力

二、大學圖書館績效評估指標

柯館長2012年「大學圖書館績效評估指標之研究」報告,透過整理相關文獻與國際標準,歸納出四個構面(共59項)大學圖書館績效評估之指標。

(一)資源與基礎建設構面

(二)使用構面

(三)效率構面

(四)潛在機會與發展構

三、大學圖書館績效評估指標

在59項指標中,柯館長挑出幾個易做與不易者做詳細說明。

(一)人均使用區域

  1. 為經常開放給讀者使用的區域,詳細請參照CNS13151。
  2. 數字不會經常變動。
  3. FTE,以在職專班為例,並非以其在校時間計算,而是直接以人頭計算。

(二)人均席位開放出來使用的席位都可計算,如清沙龍席位可以算,會議室內席位不算。

(三)人均資訊費用花了多少錢購買紙本與電子館藏,如RapidILL的費用、館際合作複印由學校支付費用者可列入計算。

(四)需求館藏的可得性

  1. 可分為三個層次來看:讀者需求資料館藏是否收錄?有收錄但是否可得?不可得情形又可分為複本數不足與在架上找不到兩種情形。
  2. 計算方式
    (1)找該學科內target user,整理其所需書單。
    (2)館員比對館藏是否收錄,即為第一階段可得性。
    (3)核對後,目前收錄之資料被借出者,為第二階段可得性,顯示在館內但不在架上者,則為第三階段可得性。
  3. 此指標較費時費工,且不易全面實施,可配合館藏發展重點政策,如逐年充實人社分館特定主題館藏。

(五)立即可得性

  1. 不需要針對熱門書籍去做。
  2. 較「需求館藏的可得性」粗糙但易做,用自動化系統即可跑出結果。

(六)首頁直接取用率

分兩個層次,首先評估讀者所需之資源與服務是否很快能在首頁找到,其次為已在首頁之網頁標籤,讀者可理解之程度。

(七)有效讀者比率

  1. 過去計算方式為:有借閱過之讀者/服務人口數,而隨圖書館服務面向日趨多元,此一方法會低估有效讀者數量。
  2. 困難點為如何將各種有效讀者列入計算。
  3. 計算方法:將所有服務項目列出清單,以問卷抽樣調查,抽樣調查之地點與方式需注意。

(八)讀者滿意度

  1. 可做特定服務(如訓練課程滿意度)或全館各面向讀者滿意度。
  2. 整體讀者滿意度可用標準讀者滿意度量表(LibQuql+)。

(九)人均圖書館拜訪次數

應逐漸建立此測量機制,如網頁拜訪次數統計資料可利用Google Analytics觀察趨勢。

(十)館藏使用率注意分母為「可外借」的館藏總量。

(十一)未被使用的館藏比率

(十二)每位有效讀者的平均成本注意排除項目:公共事業費用、資產折舊、基本建設費用。

(十三)每次到館的平均成本

(十四)每次使用的平均成本

(十五)提供與發展電子化服務館員的比率

  1. 資訊組人員所佔比率(含數位參考服務)。
  2. 排除:參考服務、電子資源採訪與處理、電子化館藏數位化、電子化服務教育訓練、與圖書館網路服務中內容相關的工作。

四、績效評估指標之研究方法與研究結果

柯館長於2012年提出「大學圖書館績效評估指標之研究」,其研究方法與結果簡述如下

(一)研究方法第一階段採用德菲法專家問卷(Delphi),尋求適用於國內大學圖書館的績效評估指標。專家小組成員對指標重要程度平均值整理如下,平均值大於4.5,達「非常重要」程度;重要性平均值介於4.0-4.5 之間,達「重要」程度。

指標構面 指標項目 重要程度平均值
資源與基礎建設 A.5  開放時間 4.00
A.6  人均資訊供應費用 4.19
A.7  需求館藏之可得性 4.70
A.8  主題目錄搜尋成功率 4.00
A.9  立即可得性 4.48
A.15 人均館員數 4.81
A.16 人均獲配讀者服務館員 4.14
A.17 圖書館專業人員與館員總數的比率 4.43
A.18 讀者服務館員與館員總數的比率 4.48
使用 B.1  有效讀者比率 4.29
B.3  讀者滿意度 4.67
B.4  人均圖書館拜訪次數 4.29
B.7  人均內容單元下載次數 4.15
B.8  館藏使用率 4.33
B.11人均借閱冊數 4.05
B.1  有效讀者比率 4.29
效率 C.1  每位有效讀者的平均成本 4.20
C.7  每次下載的平均成本 4.40
C.10 媒體處理速度 4.10
C.13 館際互借外來申請件處理速度 4.10
C.14 館際互借對外申請件處理速度 4.14
C.15 參考問題回覆滿足率 4.70
C.16 上架正確性 4.29
潛在機會與發展 D.1  電子化館藏採訪支出比率 4.43
D.2  提供與發展電子化服務的館員比率 4.57
D.3  每位館員參與訓練課程的平均時數 4.24
D.4  母機構分配給圖書館的資金比率 4.71

第二階段採用「大專校院圖書館績效評估調查問卷」,問卷第一部分為了解各大學圖書館實施績效評估的現況、所體認之績效評估的目的,以及實施績效評估的阻礙因素,第二部分為對評鑑指標的重要程度及可其執行程度之看法。

(二)研究結果

  1. 109所大學圖書館中,有四成未曾實施績效評估,而定期或曾實施績效評估者將近六,顯示績效評估的實施在大專校院圖書館未形成常態。
  2. 一般大學、科技大學與技專校院重視之績效評估指標有所差異。
  3. 理想重要程度和實際可執行程度的排名具一致性者,可做為優先實施的評估項目。
    重要程度排名 指標項目 平均數 標準差 實際可執行程度排名
    1 B.3  讀者滿意度 4.5 0.78 5
    2 B.8  館藏使用率 4.37 0.62 16
    3 A.7  需求館藏之可得性 4.33 0.78 23
    4 D.6  館藏支出比率 4.23 0.78 4
    5 A.17 圖書館專業人員與館員總數的比率 4.22 0.77 1
    6 C.15 參考問題回覆滿足率 4.19 0.76 35
    7 B.11 人均借閱冊數 4.17 0.67 6
    8 D.1  電子化館藏採訪支出比率 4.17 0.7 2
    9 C.16 上架正確性 4.15 0.89 24
    10 D.4  母機構分配給圖書館的資金比率 4.15 0.93 7
    11 A.10 人均獲配館藏量 4.13 0.7 8
    12 A.9  立即可得性 4.09 0.73 27
    13 A.15 人均館員數 4.09 0.83 10
    14 C.14 館際互借對外申請件處理速度 4.09 0.81 9
    15 C.13 館際互借外來申請件處理速度 4.06 0.77 18
    16 A.8  主題目錄搜尋成功率 4.04 0.82 45
    17 B.7  人均內容單元下載次數 4.02 0.81 31
    18 A.5  開放時間 4 0.73 3
    19 D.7  人力支出比率 4 0.94 20

肆、其他績效評估方法

一、其他績效評估

(一)LibQUAL+:服務品質評量

(二)條件評估法(Contingent ValuationMethod):以Willingness-to-pay(願付價格)與Willingness-to-accept(願受補償金額)評估圖書館的假設性市場價值

(三)投資報酬率(ROI)

二、績效評估與平衡計分卡

(一)設定平衡計分卡四個構面的權重,權重的設定乃依受評單位對各構面的重視程度而定;若進行跨單位之比較時,則可設定齊一的構面權重。

(二)針對構面內的每一項指標設定指標權重,指標權重總和為該構面之權重。指標權重亦依受評單位對各指標的重視程度而定;若進行跨單位之比較時,則可設定齊一的指標權重。

(三)將前後一年資料比較,計算出成長率或衰退率。

(四)將各指標的成長率/增加率換成燈號和分數。

(五)將各指標權重,再乘以相對應的分數,即為該指標計分(單項計分=分數*指標比重),將該構面所有指標分數累加,即為此構面所得到的分數。四大構面累計,即為運用平衡計分卡進行績效評估的分數。

三、影響評估

有質化和量化評估法,為未來績效評估應努力之方向。

伍、結論與建議

一、圖書館雖為非營利組織,但透過績效指標之實施,可讓圖書館了解資源的投入、程序、產出與成效是否符合圖書館的任務和目標,瞭解圖書館營運的方向與流程是否合乎期望,做為改善的參考,並向讀者、母機構與上級單位展現圖書館的服務價值與成果。

二、績效評估的實施在大專校院圖書館尚未形成常態,應努力落實大學圖書館績效評估之實施。

三、統計資料為績效評估之基本工具,各館宜遵照ISO2789與CNS13151標準,蒐集圖書館統計數據,並透過全國性圖書館統計填報與分析系統協助蒐整,建立長期、完整性的質量評鑑資料。

四、大學圖書館可依其需求彈性運用績效評估指標,視不同條件予以篩選或增列指標項目。
五、發展圖書館服務品質與績效評估系統的可行性。

發行人:林福仁   館長 召集人:呂淑媚 主編:萬立馨 編輯委員:呂淑媚、吳富慧、黃淑香、黃美惠、莊秀婕、陳鍶琦、張竺雅
https://www.facebook.com/NTHULIB